🐡

Jetson AGX Orin のgstreamerでAV1のハードウェアエンコードを試す

2022/05/17に公開

NVIDIA

Orinのgstreamer にはav1のハードウェアエンコード、デコードを行うエレメントが入っています。
ffmpegはまだav1のハードウェアエンコード、デコードには対応していません。

$ gst-inspect-1.0 --version
gst-inspect-1.0 version 1.16.2
GStreamer 1.16.2
https://launchpad.net/distros/ubuntu/+source/gstreamer1.0

USBカメラからくるMJPEGをデコードしてav1のハードウェアエンコードするサンプル。

gst-launch-1.0 v4l2src device="/dev/video0" ! \
    'image/jpeg, width=1280, height=720, framerate=30/1' ! \
    jpegdec ! \
    nvvidconv ! \
    'video/x-raw(memory:NVMM), format=(string)I420' ! \
    nvv4l2av1enc enable-headers=1 bitrate=1000000 ! \
    filesink location=a5.ivf -e

^Cで止めるとav5.ivfができます。

$ ffprobe a5.ivf
ffprobe version 4.2.4-1ubuntu0.1 Copyright (c) 2007-2020 the FFmpeg developers
  built with gcc 9 (Ubuntu 9.3.0-10ubuntu2)
  configuration: --prefix=/usr --extra-version=1ubuntu0.1 --toolchain=hardened --libdir=/usr/lib/aarch64-linux-gnu --incdir=/usr/include/aarch64-linux-gnu --arch=arm64 --enable-gpl --disable-stripping --enable-avresample --disable-filter=resample --enable-avisynth --enable-gnutls --enable-ladspa --enable-libaom --enable-libass --enable-libbluray --enable-libbs2b --enable-libcaca --enable-libcdio --enable-libcodec2 --enable-libflite --enable-libfontconfig --enable-libfreetype --enable-libfribidi --enable-libgme --enable-libgsm --enable-libjack --enable-libmp3lame --enable-libmysofa --enable-libopenjpeg --enable-libopenmpt --enable-libopus --enable-libpulse --enable-librsvg --enable-librubberband --enable-libshine --enable-libsnappy --enable-libsoxr --enable-libspeex --enable-libssh --enable-libtheora --enable-libtwolame --enable-libvidstab --enable-libvorbis --enable-libvpx --enable-libwavpack --enable-libwebp --enable-libx265 --enable-libxml2 --enable-libxvid --enable-libzmq --enable-libzvbi --enable-lv2 --enable-omx --enable-openal --enable-opencl --enable-opengl --enable-sdl2 --enable-libdc1394 --enable-libdrm --enable-libiec61883 --enable-chromaprint --enable-frei0r --enable-libx264 --enable-shared
  libavutil      56. 31.100 / 56. 31.100
  libavcodec     58. 54.100 / 58. 54.100
  libavformat    58. 29.100 / 58. 29.100
  libavdevice    58.  8.100 / 58.  8.100
  libavfilter     7. 57.100 /  7. 57.100
  libavresample   4.  0.  0 /  4.  0.  0
  libswscale      5.  5.100 /  5.  5.100
  libswresample   3.  5.100 /  3.  5.100
  libpostproc    55.  5.100 / 55.  5.100
[libaom-av1 @ 0xaaaaab339f70] v1.0.0
Input #0, ivf, from 'a5.ivf':
  Duration: 00:00:16.70, start: 0.000000, bitrate: 1757 kb/s
    Stream #0:0: Video: av1 (Main) (AV01 / 0x31305641), yuv420p(tv), 1280x720, 30 tbr, 30 tbn, 30 tbc
[libaom-av1 @ 0xaaaaab340f60] v1.0.0

JPEGのデコードにはソフトウェアデコーダのjpegdecを使用しています。これをnvjpegdecに変更するとnvv4l2av1encの中でSEGVを起こしてしまいました。
こうやったらできたよ！という情報をお待ちしています。

** 2202/05/18 追記 **
JPEGのデコードにもハードウェアアクセラレーションを使う方法も見つけました。

おまけ

最初は以下のようにNVIDOAのハードウェアエンコーダ、デコーダのエレメントが見つかりませんでした。

$ gst-inspect-1.0 |grep '^nv'
nvivafilter:  nvivafilter: NvIVAFilter Plugin
nveglstreamsrc:  nveglstreamsrc: nVidia EGL Stream
nvarguscamerasrc:  nvarguscamerasrc: NvArgusCameraSrc
nvvidconv:  nvvidconv: NvVidConv Plugin
nvvideosink:  nvvideosink: nVidia Video Sink
nvvideosinks:  nv3dsink: Nvidia 3D sink
nvegltransform:  nvegltransform: NvEGLTransform
nvtee:  nvtee: NvTee
nvjpeg:  nvjpegdec: JPEG image decoder
nvjpeg:  nvjpegenc: JPEG image encoder
nvv4l2camerasrc:  nvv4l2camerasrc: NvV4l2CameraSrc
nvdrmvideosink:  nvdrmvideosink: Nvidia Drm Video Sink
nveglglessink:  nveglglessink: EGL/GLES vout Sink

いろいろ探し回っているとこの記事を見つけました。

ここで書かれている

$ rm .cache/gstreamer-1.0/registry.aarch64.bin

を実行すると、以下のようにnvvideo4linux2が見えるようになりました。

$ gst-inspect-1.0 |grep '^nv'
nvivafilter:  nvivafilter: NvIVAFilter Plugin
nveglstreamsrc:  nveglstreamsrc: nVidia EGL Stream
nvarguscamerasrc:  nvarguscamerasrc: NvArgusCameraSrc
nvvidconv:  nvvidconv: NvVidConv Plugin
nvvideosink:  nvvideosink: nVidia Video Sink
nvvideosinks:  nv3dsink: Nvidia 3D sink
nvegltransform:  nvegltransform: NvEGLTransform
nvtee:  nvtee: NvTee
nvjpeg:  nvjpegenc: JPEG image encoder
nvjpeg:  nvjpegdec: JPEG image decoder
nvvideo4linux2:  nvv4l2decoder: NVIDIA v4l2 video decoder
nvvideo4linux2:  nvv4l2h264enc: V4L2 H.264 Encoder
nvvideo4linux2:  nvv4l2h265enc: V4L2 H.265 Encoder
nvvideo4linux2:  nvv4l2vp8enc: V4L2 VP8 Encoder
nvvideo4linux2:  nvv4l2vp9enc: V4L2 VP9 Encoder
nvvideo4linux2:  nvv4l2av1enc: V4L2 AV1 Encoder
nvv4l2camerasrc:  nvv4l2camerasrc: NvV4l2CameraSrc
nvdrmvideosink:  nvdrmvideosink: Nvidia Drm Video Sink
nveglglessink:  nveglglessink: EGL/GLES vout Sink

ちなみにこれらのソースコードはOrinのカーネルソースコードをビルドしたときにダウンロードしたアーカイブの中のLinux_for_Tegra/source/publicにあります。

おまけ

Discussion