NVIDIA Jetson Linux 35.3.1-开发指南-Accelerated GStreamer

安装GStreamer-1.0

• 输入命令：

  $ sudo apt-get update
  $ sudo apt-get install gstreamer1.0-tools gstreamer1.0-alsa \
       gstreamer1.0-plugins-base gstreamer1.0-plugins-good \
       gstreamer1.0-plugins-bad gstreamer1.0-plugins-ugly \
       gstreamer1.0-libav
  $ sudo apt-get install libgstreamer1.0-dev \
       libgstreamer-plugins-base1.0-dev \
       libgstreamer-plugins-good1.0-dev \
       libgstreamer-plugins-bad1.0-dev
  

检查GStreamer-1.0版本

• 输入命令：

  $ gst-inspect-1.0 --version
  

GStreamer-1.0插件参考

GStreamer 1.0版包括以下gst-v4l2视频解码器：

GStreamer 1.0版包括以下gst-v4l2视频编码器：

GStreamer 1.0版包括以下EGL™图像视频接收器：

GStreamer 1.0版包括以下DRM视频接收器：

GStreamer 1.0版包括以下专有NVIDIA插件：

GStreamer 1.0版包含以下基于libjpeg-based 的JPEG映像 视频编码/解码插件：

$ export DISPLAY=:0

$  xinit &

使用gst-Launing-1.0的音频解码示例

以下示例展示了如何使用GStreamer-1.0执行音频解码。

• AAC解码（OSS软件解码）：

  $ gst-launch-1.0 filesrc location=<filename.mp4> ! \
     qtdemux name=demux demux.audio_0 ! \
     queue ! avdec_aac ! audioconvert ! alsasink -e
  

• AMR-WB解码（OSS软件解码）：

  $ gst-launch-1.0 filesrc location=<filename.mp4> ! \
       qtdemux name=demux demux.audio_0 ! queue ! avdec_amrwb ! \
       audioconvert ! alsasink -e
  

• AMR-NB解码（OSS软件解码）：

  $ gst-launch-1.0 filesrc location=<filename.mp4> ! \
       qtdemux name=demux demux.audio_0 ! queue ! avdec_amrnb ! \
       audioconvert ! alsasink -e
  

• MP3解码（OSS软件解码）：

  $ gst-launch-1.0 filesrc location=<filename.mp3> ! mpegaudioparse ! \
       avdec_mp3 ! audioconvert ! alsasink -e
  

  注

  要通过HDMI®路由音频，请将alsasink属性device设置为表中为您的平台给定的值 端口到设备ID映射 在主题中 音频设置和开发。

  例如，使用device=hw:0,7通过Jetson TX2 HDMI/DP 1（HDMI）端口路由音频。

使用gst-Launing-1.0的视频解码示例

以下示例展示了如何在GStreamer-1.0上执行视频解码。

使用gst-v4l2进行视频解码

以下示例展示了如何使用 GStreamer-1.0 gst-v4l2插件。

• H.264解码（NVIDIA加速解码）：

  $ gst-launch-1.0 filesrc location=<filename_h264.mp4> ! \
       qtdemux ! queue ! h264parse ! nvv4l2decoder ! nv3dsink -e
  

  注

  要启用最大性能模式，请使用gst-v4l2解码器插件的enable-max-performance属性。

  例如：

  $ gst-launch-1.0 filesrc location=<filename_h264.mp4> ! \
       qtdemux ! queue ! h264parse ! nvv4l2decoder \
       enable-max-performance=1 ! nv3dsink -e
  

  注

  要解码H.264/H.265 GDR流，您必须通过将属性enable-frame-type-reporting设置为true来启用错误报告。

  例如：

  $ gst-launch-1.0 filesrc \
       location=<filename_h264.mp4> ! \
       qtdemux ! queue ! h264parse ! nvv4l2decoder \
       enable-frame-type-reporting=1 ! nv3dsink -e
  

• H.265解码（NVIDIA加速解码）：

  $ gst-launch-1.0 filesrc location=<filename_h265.mp4> ! \
       qtdemux ! queue ! h265parse ! nvv4l2decoder ! nv3dsink -e
  

• 10位H.265解码（NVIDIA加速解码）：

  $ gst-launch-1.0 filesrc location=<filename_10bit.mkv> ! \
       matroskademux ! queue ! h265parse ! nvv4l2decoder ! \
       nvvidconv ! \
       'video/x-raw(memory:NVMM), format=(string)NV12' ! \
       nv3dsink -e
  

• 12位H.265解码（NVIDIA加速解码）：

  $ gst-launch-1.0 filesrc location=<filename_12bit.mkv> ! \
       matroskademux ! queue ! h265parse ! nvv4l2decoder ! \
       nvvidconv ! \
       'video/x-raw(memory:NVMM), format=(string)NV12' ! \
       nv3dsink -e
  

• 8位YUV444（NV24）H.265解码（NVIDIA加速解码）：

  $ gst-launch-1.0 filesrc location=<filename_8bit_YUV444.265> ! \
       h265parse ! nvv4l2decoder ! nvvidconv ! \
       'video/x-raw(memory:NVMM), format=(string)NV12' ! \
       nv3dsink -e
  

• VP9解码（NVIDIA加速解码）：

  $ gst-launch-1.0 filesrc location=<filename_vp9.mkv> ! \
       matroskademux ! queue ! nvv4l2decoder ! nv3dsink -e
  

• VP8解码（NVIDIA加速解码）：

  $ gst-launch-1.0 filesrc location=<filename_vp8.mkv> ! \
       matroskademux ! queue ! nvv4l2decoder ! nv3dsink -e
  

• MPEG-4解码（NVIDIA加速解码）：

  $ gst-launch-1.0 filesrc location=<filename_mpeg4.mp4> ! \
       qtdemux ! queue ! mpeg4videoparse ! nvv4l2decoder ! nv3dsink -e
  

• MPEG-4解码DivX 4/5（NVIDIA加速解码）：

  $ gst-launch-1.0 filesrc location=<filename_divx.avi> ! \
       avidemux ! queue ! mpeg4videoparse ! nvv4l2decoder ! nv3dsink -e
  

• MPEG-2解码（NVIDIA加速解码）：

  $ gst-launch-1.0 filesrc location=<filename_mpeg2.ts> ! \
       tsdemux ! queue ! mpegvideoparse ! nvv4l2decoder ! nv3dsink -e
  

• AV1解码（NVIDIA加速解码）：

  $  gst-launch-1.0 filesrc location = <filename_av1.webm> ! \
       matroskademux ! queue ! nvv4l2decoder ! nv3dsink -e
  

使用gst-Launing-1.0的音频编码示例

以下示例展示了如何在GStreamer-1.0上执行音频编码。

• AAC编码（OSS软件编码）：

  $ gst-launch-1.0 audiotestsrc ! \
       'audio/x-raw, format=(string)S16LE,
       layout=(string)interleaved, rate=(int)44100, channels=(int)2' ! \
       voaacenc ! qtmux ! filesink location=test.mp4 -e
  

• AMR-WB编码（OSS软件编码）：

  $ gst-launch-1.0 audiotestsrc ! \
       'audio/x-raw, format=(string)S16LE, layout=(string)interleaved, \
       rate=(int)16000, channels=(int)1' ! voamrwbenc ! qtmux ! \
       filesink location=test.mp4 -e
  

使用gst-Launing-1.0的视频编码示例

以下示例展示了如何使用GStreamer-1.0执行视频编码。

使用gst-Launing-1.0的图像编码示例

以下示例显示了如何在GStreamer-1.0上执行JPEG编码。

• 图像编码：

  $ gst-launch-1.0 videotestsrc num-buffers=1 ! \
       'video/x-raw, width=(int)640, height=(int)480, \
       format=(string)I420' ! nvjpegenc ! filesink location=test.jpg -e
  

GStreamer-1.0支持的H.264/H.265/VP9/AV1编码器功能

本节介绍NVIDIA加速H.264/H.265/VP9/AV1编码器支持的功能的示例gst-Launing-1.0用法。

$ gst-inspect-1.0 [nvv4l2h264enc | nvv4l2h265enc | nvv4l2vp9enc | nvv4l2av1enc]

$ gst-launch-1.0 videotestsrc num-buffers=300 ! \
     'video/x-raw, width=(int)1280, height=(int)720, \
     format=(string)I420, framerate=(fraction)30/1' ! nvvidconv ! \
     'video/x-raw(memory:NVMM), format=(string)I420' ! nvv4l2h264enc \
     bitrate=6000000 peak-bitrate=6500000 ! h264parse ! qtmux ! \
     filesink location=<filename_h264.mp4> -e

$ gst-launch-1.0 videotestsrc num-buffers=300 ! \
     'video/x-raw, width=(int)1280, height=(int)720, \
     format=(string)I420, framerate=(fraction)30/1' ! nvvidconv ! \
     'video/x-raw(memory:NVMM), format=(string)I420' ! nvv4l2h264enc \
     ratecontrol-enable=0 quant-i-frames=30 quant-p-frames=30 \
     quant-b-frames=30 num-B-Frames=1 ! filesink \
     location=<filename_h264.264> -e

"<I_range>:<P_range>:<B_range>"

$ gst-launch-1.0 videotestsrc num-buffers=300 ! \
     'video/x-raw, width=(int)1280, height=(int)720, \
     format=(string)I420, framerate=(fraction)30/1' ! nvvidconv ! \
     'video/x-raw(memory:NVMM), format=(string)I420' ! nvv4l2h264enc \
     preset-level=4 MeasureEncoderLatency=1 ! 'video/x-h264, \
     stream-format=(string)byte-stream, alignment=(string)au' ! \
     filesink location=<filename_h264.264> -e

$ gst-launch-1.0 videotestsrc num-buffers=300 ! \
     'video/x-raw, width=(int)1280, height=(int)720, \
     format=(string)I420, framerate=(fraction)30/1' ! nvvidconv ! \
     'video/x-raw(memory:NVMM), format=(string)I420' ! nvv4l2h264enc \
     profile=0 ! 'video/x-h264, stream-format=(string)byte-stream, \
     alignment=(string)au' ! filesink location=<filename_h264.264> -e

$ gst-launch-1.0 videotestsrc num-buffers=300 ! \
     'video/x-raw, width=(int)1280, height=(int)720, \
     format=(string)I420, framerate=(fraction)30/1' ! nvvidconv ! \
     'video/x-raw(memory:NVMM), format=(string)I420' ! nvv4l2h264enc \
     insert-sps-pps=1 ! \
     'video/x-h264, stream-format=(string)byte-stream, \
     alignment=(string)au' ! filesink location=<filename_h264.264> -e

$ gst-launch-1.0 videotestsrc num-buffers=300 ! \
     'video/x-raw, width=(int)1280, height=(int)720, \
     format=(string)I420, framerate=(fraction)30/1' ! nvvidconv ! \
     'video/x-raw(memory:NVMM), format=(string)I420' ! nvv4l2h264enc \
     control-rate=1 bitrate=10000000 EnableTwopassCBR=1 ! \
     'video/x-h264, stream-format=(string)byte-stream, \
     alignment=(string)au' ! filesink location=<filename_h264.264> -e

$ gst-launch-1.0 videotestsrc num-buffers=300 ! \
     'video/x-raw, width=(int)1280, height=(int)720, \
     format=(string)I420, framerate=(fraction)30/1' ! nvvidconv ! \
     'video/x-raw(memory:NVMM), format=(string)I420' ! nvv4l2h264enc \
     slice-header-spacing=8 bit-packetization=0 ! 'video/x-h264, \
     stream-format=(string)byte-stream, alignment=(string)au' ! \
     filesink location=<filename_h264.264> -e

$ gst-launch-1.0 videotestsrc num-buffers=300 ! \
     'video/x-raw, width=(int)1280, height=(int)720, \
     format=(string)I420, framerate=(fraction)30/1' ! nvvidconv ! \
     'video/x-raw(memory:NVMM), format=(string)I420' ! nvv4l2h264enc \
     slice-header-spacing=1400 bit-packetization=1 ! 'video/x-h264, \
     stream-format=(string)byte-stream, alignment=(string)au' ! \
     filesink location=<filename_h264.264> -e

$ gst-launch-1.0 videotestsrc num-buffers=300 ! \
     'video/x-raw, width=(int)1280, height=(int)720, \
     format=(string)I420, framerate=(fraction)30/1' ! nvvidconv ! \
     'video/x-raw(memory:NVMM), format=(string)I420' ! nvv4l2h264enc \
     profile=2 cabac-entropy-coding=1 ! 'video/x-h264, \
     stream-format=(string)byte-stream, alignment=(string)au' ! \
     filesink location=<filename_h264.264> -e

$ gst-launch-1.0 videotestsrc num-buffers=300 ! \
  'video/x-raw, width=(int)1280, height=(int)720, \
  format=(string)I420, framerate=(fraction)30/1' ! nvvidconv ! \
  'video/x-raw(memory:NVMM), format=(string)I420' ! nvv4l2h264enc \
  num-B-Frames=1 ! 'video/x-h264, stream-format=(string)byte-stream, \
  alignment=(string)au' ! filesink location=<filename_h264.264> -e

$ gst-launch-1.0 videotestsrc num-buffers=300 ! \
     'video/x-raw, width=(int)1280, height=(int)720, \
     format=(string)I420, framerate=(fraction)30/1' ! nvvidconv ! \
     'video/x-raw(memory:NVMM), format=(string)I420' ! nvv4l2h264enc \
     EnableMVBufferMeta=1 ! 'video/x-h264, \
     stream-format=(string)byte-stream, alignment=(string)au' ! \
     filesink location=<filename_h264.264> -e

$ gst-launch-1.0 videotestsrc num-buffers=300 ! \
     'video/x-raw, width=(int)1280, height=(int)720, \
     format=(string)I420, framerate=(fraction)30/1' ! nvvidconv ! \
     'video/x-raw(memory:NVMM), format=(string)I420' ! nvv4l2h264enc \
     vbv-size=10 ! h264parse ! qtmux ! \
     filesink location=<filename_h264.mp4> -e

$ gst-launch-1.0 videotestsrc num-buffers=300 ! \
     'video/x-raw, width=(int)1280, height=(int)720, \
     format=(string)I420, framerate=(fraction)30/1' ! nvvidconv ! \
     'video/x-raw(memory:NVMM), format=(string)I420' ! nvv4l2h264enc \
     insert-aud=1 ! 'video/x-h264, stream-format=(string)byte-stream, \
     alignment=(string)au' ! filesink location=<filename_h264.264> -e

$ gst-launch-1.0 videotestsrc num-buffers=300 ! \
     'video/x-raw, width=(int)1280, height=(int)720, \
     format=(string)I420, framerate=(fraction)30/1' ! nvvidconv ! \
     'video/x-raw(memory:NVMM), format=(string)I420' ! nvv4l2h264enc \
     insert-vui=1 ! 'video/x-h264, stream-format=(string)byte-stream, \
     alignment=(string)au' ! filesink location=<filename_h264.264> -e

$ gst-launch-1.0 videotestsrc num-buffers=300 ! \
     'video/x-raw, width=1920, height=1080, format=I420' ! nvvidconv ! \
     nvv4l2h264enc \
     poc-type=2 ! h264parse ! filesink location=<filename_h264.264> -e

$ gst-launch-1.0 videotestsrc num-buffers=300 ! \
     'video/x-raw, width=1920, height=1080, format=I420' ! nvvidconv ! \
     nvv4l2av1enc \
     disable-cdf=0 enable-headers=1 ! filesink location=<filename_av1.av1> -e

$ gst-launch-1.0 videotestsrc num-buffers=30 ! \
     'video/x-raw, width=1920, height=1080, format=I420' ! nvvidconv ! \
     nvv4l2av1enc \
     enable-srdo=1 ! qtmux ! \
     filesink location= <filename_av1.mp4> -e

注

默认nvgstcapture-1.0应用程序仅支持使用nvarguscamerasrc插件的ARGUS API。不推荐使用旧的nvcamerasrc插件支持。

使用GStreamer-1.0进行捕获

1. 使用以下命令通过使用nvarguscamerasrc捕获并使用nvdrmvideosink：

   $ gst-launch-1.0 nvarguscamerasrc ! 'video/x-raw(memory:NVMM), \
        width=(int)1920, height=(int)1080, format=(string)NV12, \
        framerate=(fraction)30/1' ! queue ! nvdrmvideosink -e
   

   a. 设置接收器的处理期限：

$ gst-launch-1.0 nvarguscamerasrc ! "video/x-raw(memory:NVMM), \
     width=(int)3840, height=(int)2160, format=(string)NV12, \
     framerate=(fraction)60/1" ! nv3dsink processing-deadline=0

注

使用nvv4l2camasrc进行渐进式捕获

要使用nv3dsink捕获和预览显示，请输入以下命令：

$ gst-launch-1.0 nvv4l2camerasrc device=/dev/video3 ! \
     'video/x-raw(memory:NVMM), format=(string)UYVY, \
     width=(int)1920, height=(int)1080, \
     interlace-mode= progressive, \
     framerate=(fraction)30/1' ! nvvidconv ! \
     'video/x-raw(memory:NVMM), format=(string)NV12' ! \
     nv3dsink -e

该nvgstcapture-1.0应用程序使用v4l2src插件来捕获静止图像和视频。

下表显示了USB摄像头支持。

使用v4l2src捕获原始YUV

使用以下命令使用v4l2src捕获原始YUV（I420格式）并使用xvimagesink预览显示：

$ gst-launch-1.0 v4l2src device="/dev/video0" ! \
     "video/x-raw, width=640, height=480, format=(string)YUY2" ! \
     xvimagesink -e

使用OpenCV支持相机捕获和编码

OpenCV示例应用程序opencv_nvgstcam模拟相机 捕获管道。同样，OpenCV示例应用程序 opencv_nvgstenc模拟视频编码管道。

两个示例应用程序都基于GStreamer 1.0。它们目前仅受OpenCV 3.3版支持。

• opencv_nvgstcam：相机捕捉和预览。

  要使用opencv_nvgstcam示例应用程序模拟相机捕获管道，请输入以下命令：

  $ ./opencv_nvgstcam --help
  

  注

  目前，opencv_nvgstcam仅支持使用d插件的单实例CSI捕获，您可以通过使用v4l2src插件修改和重建应用程序以支持用于CSI多实例捕获和USB摄像头捕获的GStreamer管道，该应用程序使用基于OpenCV的视频接收器进行显示。

  对于使用OpenCV进行相机CSI捕获和预览渲染，输入th3命令：

  $ ./opencv_nvgstcam --width=1920 --height=1080 --fps=30
  

• opencv_nvgstenc：相机捕捉和视频编码。

  要使用opencv_nvgstenc示例应用程序模拟相机捕获和视频编码管道，请输入以下命令：

  $ ./opencv_nvgstenc --help
  

  注

  目前，opencv_nvgstenc仅支持使用nvarguscamerasrc插件的相机CSI捕获和通过使用带有MP4容器文件的nvv4l2h264enc插件以H.264格式进行视频编码。您可以修改和重建应用程序以支持不同视频编码格式的GStreamer管道。该应用程序使用基于OpenCV的视频接收器进行显示。

  对于使用OpenCV进行相机CSI捕获和视频编码，输入命令：

  $ ./opencv_nvgstenc --width=1920 --height=1080 --fps=30 --time=60 \
          --filename=test_h264_1080p_30fps.mp4
  

视频播放示例

以下示例展示了如何使用GStreamer-1.0执行视频播放。

• nveglglessink（窗口视频播放，使用默认X11后端的NVIDIA EGL/GLES视频链接）：

  输入此命令以使用默认X11后端的nveglglesink启动GStreamer管道：

  $ gst-launch-1.0 filesrc location=<filename.mp4> ! \
       qtdemux name=demux ! h264parse ! nvv4l2decoder ! nveglglessink -e
  

  在nvgstplayer-1.0应用程序接受命令行选项，指定窗口位置和尺寸窗口播放：

  $ nvgstplayer-1.0 -i <filename> --window-x=300 --window-y=300 \
       --window-width=500 --window-height=500
  

• nveglglessink（窗口视频播放，使用Wayland后端的NVIDIA EGL/GLES视频链接）：

  您可以将nveglglsink与Wayland后端一起使用，而不是默认的X11后端。

  Ubuntu 20.04不支持Wayland显示服务器，这意味着没有UI支持从Xorg切换Wayland。在执行基于Weston的操作之前，您必须使用目标的shell启动Wayland服务器（Weston）。

  要启动Weston，请在第一次使用Wayland后端运行GStreamer管道之前完成以下步骤。初始运行后不需要这些步骤。

  开始韦斯顿：

  $ nvstart-weston.sh
  

  要使用Wayland后端运行GStreamer管道，请运行以下命令来启动管道并在Wayland后端使用nveglglesink：

  $ gst-launch-1.0 filesrc \
          location=<filename.mp4> ! qtdemux name=demux ! h264parse ! \
          nvv4l2decoder ! nveglglessink winsys=wayland
  

• nvdrmvideosink（使用DRM播放视频）：此接收器元素使用DRM在连接的显示器上呈现视频。

  必须停止显示驱动程序，并且必须在使用nvdrmvideosink之前加载DRM驱动程序。

  停止显示管理器：

  $ sudo systemctl stop gdm
  $ sudo loginctl terminate-seat seat0
  

  加载DRM驱动程序：

  For Jetson Xavier use
  $ sudo modprobe tegra_udrm modeset=1
  
  For Jetson Orin use
  $ sudo modprobe nvidia-drm modeset=1
  

  要使用nvdrmvideosink启动GStreamer管道，请运行以下命令：

  $ gst-launch-1.0 filesrc location=<filename.mp4> ! \
       qtdemux! queue ! h264parse ! nvv4l2decoder ! nvdrmvideosink -e
  

  nvdrmvideosink支持这些属性

  • conn_id：设置显示器的连接器ID。

  • plane_id：设置飞机ID。

  • set_mode：设置播放的默认模式（分辨率）。

  以下命令说明了这些属性的使用：

  $ gst-launch-1.0 filesrc location=<filename.mp4> ! \
       qtdemux! queue ! h264parse ! ! nvv4l2decoder ! nvdrmvideosink \
       conn_id=0 plane_id=1 set_mode=0 -e
  

• nv3dsink视频接收器（使用3D图形API播放视频）：此视频接收器元素与NVMM缓冲区一起工作，并使用3D图形渲染API进行渲染。它的性能优于带有NVMM缓冲区的nveglglessink。

  此命令使用nv3dsink启动GStreamer管道：

  $ gst-launch-1.0 filesrc location=<filename.mp4> ! \
       qtdemux ! queue ! h264parse ! nvv4l2decoder ! nv3dsink -e
  

  接收器支持使用此示例中显示的属性设置特定的窗口位置和尺寸：

  $ nv3dsink window-x=300 window-y=300 window-width=512 window-height=512
  

使用OpenCV支持视频解码

您可以使用基于GStreamer-1.0的模拟视频解码管道 OpenCV示例应用程序opencv_nvgstdec。

要使用opencv_nvgstdec执行视频解码，请输入以下命令：

$ ./opencv_nvgstdec --help

要使用opencv_nvgstdec执行视频解码，请输入以下命令：

$ ./opencv_nvgstdec --file-path=test_file_h264.mp4

使用nvgstplayer-1.0执行视频流

• 使用nvgstplayer-1.0：输入命令：

  $ nvgstplayer-1.0 -i rtsp://10.25.20.77:554/RTSP_contents/VIDEO/H264/
       test_file_h264.3gp –stats
  

  支持的视频流格式有：

  MPEG4	MPEG4+AAC	MPEG4+AAC PLUS	MPEG4+eAAC PLUS	MPEG4+AMR-NB	MPEG4+AMR-WB
  H263	H263+AAC	H263+AAC PLUS		H263+AMR-NB	H263+AMR-WB
  H264	H264+AAC	H264+AAC PLUS	H264+eAAC PLUS	H264+AMR-NB	H264+AMR-WB
  	AAC	AAC PLUS	eAAC PLUS	AMR-NB	AMR-WB

• 使用gst-Launing-1.0管道：

  • 流媒体和视频渲染：

    • 传输（从目标）：CSI相机捕获+视频编码+使用网络接收器的RTP流：

      $ gst-launch-1.0 nvarguscamerasrc ! 'video/x-raw(memory:NVMM), \
           format=NV12, width=1920, height=1080' ! \
           nvv4l2h264enc insert-sps-pps=true ! h264parse ! \
           rtph264pay pt=96 ! udpsink host=127.0.0.1 port=8001 sync=false -e
      

    • 接收（在目标上）：网络源+视频解码+视频渲染：

      $ gst-launch-1.0 udpsrc address=127.0.0.1 port=8001 \
           caps='application/x-rtp, encoding-name=(string)H264, payload=(int)96' ! \
           rtph264depay ! queue ! h264parse ! nvv4l2decoder ! nv3dsink -e
      

  • 流式传输和文件转储：

    • 传输（从目标）：CSI相机捕获+视频编码+使用网络接收器的RTP流：

      $ gst-launch-1.0 nvarguscamerasrc ! \
           'video/x-raw(memory:NVMM), format=NV12, width=1920, height=1080' ! \
           nvv4l2h264enc insert-sps-pps=true ! h264parse ! \
           rtph264pay pt=96 ! udpsink host=127.0.0.1 port=8001 sync=false -e
      

    • 接收（在目标上）：网络源+视频解码+文件转储：

      $ gst-launch-1.0 udpsrc address=127.0.0.1 port=8001 \
           caps='application/x-rtp, encoding-name=(string)H264, payload=(int)96' ! \
           rtph264depay ! queue ! h264parse ! nvv4l2decoder ! nvvidconv ! \
           'video/x-raw, format=(string)I420' ! filesink location=test.yuv -e
      

原始YUV输入格式

目前基于VIC的nvvidconvon Jetson支持I420、UYVY、YUY2、YVYU、NV12、NV16、NV24、P010_10LE、GRAY8、BGRx、RGBA和Y42B RAW-YUV输入格式和基于CUDA的nvvidconvon GPU支持I420、NV12、P010_10LE、GRAY8、BGRx和RGBA输入格式。

输入以下命令以在JetsonLinux上执行基于VIC的转换：

• 使用gst-v4l2编码器（除了GRAY8管道）：

  $ gst-launch-1.0 videotestsrc ! 'video/x-raw, format=(string)UYVY, \
       width=(int)1280, height=(int)720' ! nvvidconv ! \
       'video/x-raw(memory:NVMM), format=(string)I420' ! \
       nvv4l2h264enc ! 'video/x-h264, \
       stream-format=(string)byte-stream' ! h264parse ! \
       qtmux ! filesink location=test.mp4 -e
  

• 将gst-v4l2编码器与GRAY8管道一起使用：

  $ gst-launch-1.0 videotestsrc ! 'video/x-raw, format=(string)GRAY8, \
       width=(int)640, height=(int)480, framerate=(fraction)30/1' ! \
       nvvidconv ! 'video/x-raw(memory:NVMM), format=(string)I420' ! \
       nvv4l2h264enc ! 'video/x-h264, \
       stream-format=(string)byte-stream' ! h264parse ! qtmux ! \
       filesink location=test.mp4 -e
  

输入以下命令以在集成GPU上执行基于CUDA的转换：

• 使用gst-v4l2编码器（除了GRAY8管道）：

  $ gst-launch-1.0 videotestsrc ! 'video/x-raw, format=(string)NV12, \
       width=(int)1280, height=(int)720' ! nvvidconv compute-hw=GPU \
       nvbuf-memory-type=nvbuf-mem-cuda-device ! 'video/x-raw, \
       format=(string)I420' ! nvvidconv compute-hw=VIC \
       nvbuf-memory-type=nvbuf-mem-surface-array ! 'video/x-raw(memory:NVMM)' ! \
       nvv4l2h264enc ! 'video/x-h264, \
       stream-format=(string)byte-stream' ! h264parse ! \
       qtmux ! filesink location=test.mp4 -e
  

• 将gst-v4l2编码器与GRAY8管道一起使用：

  $ gst-launch-1.0 videotestsrc ! 'video/x-raw, format=(string)GRAY8, \
       width=(int)640, height=(int)480, framerate=(fraction)30/1' ! \
       nvvidconv compute-hw=GPU nvbuf-memory-type=nvbuf-mem-cuda-device ! \
       'video/x-raw, format=(string)I420' ! nvvidconv compute-hw=VIC \
       nvbuf-memory-type=nvbuf-mem-surface-array ! 'video/x-raw(memory:NVMM)' ! \
       nvv4l2h264enc ! 'video/x-h264, \
       stream-format=(string)byte-stream' ! h264parse ! qtmux ! \
       filesink location=test.mp4 -e
  

输入以下命令以在专用GPU上执行基于CUDA的格式转换：

• 使用gst-v4l2编码器：

  $ gst-launch-1.0 filesrc location=input_4k_60p.yuv ! videoparse width=3840 \
       height=2160 format=i420 framerate=60 ! nvvidconv compute-hw=GPU \
       nvbuf-memory-type=nvbuf-mem-cuda-device ! 'video/x-raw(memory:NVMM), \
       width=(int)3840, height=(int)2160, format=(string)I420, framerate=60/1' ! \
       nvv4l2h264enc ! 'video/x-h264, stream-format=(string)byte-stream, \
       alignment=(string)au' ! h264parse ! qtmux ! \
       filesink location=test.mp4 -e
  

原始YUV输出格式

目前基于VIC的nvvidconv支持I420、UYVY、YUY2、YVYU、NV12、NV16、NV24、GRAY8、BGRx、RGBA和Y42B RAW-YUV输出格式，基于GPU的CUDAnvvidconv支持I420、NV12、P010_10LE、I420_10LE、GRAY8、BGRx和RGBA输出格式。

输入以下命令以在JetsonLinux上执行基于VIC的格式转换：

• 使用gst-v4l2解码器（除了GRAY8管道）：

  $ gst-launch-1.0 filesrc location=640x480_30p.mp4 ! qtdemux ! \
       queue ! h264parse ! nvv4l2decoder ! nvvidconv ! \
       'video/x-raw, format=(string)UYVY' ! videoconvert ! xvimagesink -e
  

• 将gst-v4l2解码器与GRAY8管道一起使用：

  $ gst-launch-1.0 filesrc location=720x480_30i_MP.mp4 ! qtdemux ! \
       queue ! h264parse ! nvv4l2decoder ! nvvidconv ! 'video/x-raw, \
       format=(string)GRAY8' ! videoconvert ! xvimagesink -e
  

输入以下命令以在集成GPU上执行基于CUDA的格式转换：

• 使用gst-v4l2解码器：

  $ gst-launch-1.0 filesrc location=640x480_30p.mp4 ! qtdemux ! \
       queue ! h264parse ! nvv4l2decoder ! nvvidconv compute-hw=GPU \
       nvbuf-memory-type=nvbuf-mem-cuda-device ! nv3dsink -e
  

输入以下命令以在专用GPU上执行基于CUDA的格式转换：

• 使用gst-v4l2解码器：

  $ gst-launch-1.0 filesrc location=720x480_30i_MP.mp4 ! qtdemux ! \
       h264parse ! nvv4l2decoder cudadec-memtype=1 ! nvvidconv compute-hw=GPU \
       nvbuf-memory-type=nvbuf-mem-cuda-device ! nveglglessink -e
  

NVIDIA输入和输出格式

目前基于GPU的CUDAnvvidconv支持I420、NV12、P010_10LE、GRAY8、BGRx和RGBA输入格式，并支持I420、NV12、P010_10LE、I420_10LE、GRAY8、BGRx和RGBA输出格式和基于VIC的nvvidconv支持下表中描述的NVIDIA输入和输出格式的组合。左侧列中的任何格式都可以转换为右侧列中同一行中的任何格式。

输入以下命令，在JetsonLinux上执行基于VIC的NVIDIA格式转换：

• 使用gst-v4l2解码器：

  $ gst-launch-1.0 filesrc location=1280x720_30p.mp4 ! qtdemux ! \
       h264parse ! nvv4l2decoder ! nvvidconv ! \
       'video/x-raw(memory:NVMM), format=(string)RGBA' ! nvdrmvideosink -e
  

• 使用gst-v4l2编码器：

  $ gst-launch-1.0 nvarguscamerasrc ! \
       'video/x-raw(memory:NVMM), width=(int)1920, height=(int)1080, \
       format=(string)NV12, framerate=(fraction)30/1' ! nvvidconv ! \
       'video/x-raw(memory:NVMM), format=(string)I420' ! nvv4l2h264enc ! \
       h264parse ! qtmux ! filesink location=test.mp4 -e
  

• 将gst-v4l2解码器和nv3dsink与GRAY8管道一起使用：

  $ gst-launch-1.0 filesrc location=1280x720_30p.mp4 ! qtdemux ! \
       h264parse ! nvv4l2decoder ! nvvidconv ! \
       'video/x-raw(memory:NVMM), format=(string)GRAY8' ! nvvidconv ! \
       'video/x-raw(memory:NVMM), format=(string)I420' ! nv3dsink -e
  

输入以下命令以在集成GPU上执行基于CUDA的NVIDIA格式之间的转换：

• 使用gst-v4l2解码器：

  $ gst-launch-1.0 filesrc location=1280x720_30p.mp4 ! qtdemux ! \
       h264parse ! nvv4l2decoder ! nvvidconv compute-hw=GPU \
       nvbuf-memory-type=nvbuf-mem-cuda-device ! \
       'video/x-raw(memory:NVMM), format=(string)RGBA' ! nv3dsink -e
  

• 使用gst-v4l2编码器：

  $ gst-launch-1.0 nvarguscamerasrc ! \
       'video/x-raw(memory:NVMM), width=(int)1920, height=(int)1080, \
       format=(string)NV12, framerate=(fraction)30/1' ! \
       nvvidconv compute-hw=GPU nvbuf-memory-type=nvbuf-mem-cuda-device ! \
       'video/x-raw, format=(string)I420' ! \
       nvvidconv compute-hw=VIC nvbuf-memory-type=nvbuf-mem-surface-array ! \
       'video/x-raw(memory:NVMM)' ! nvv4l2h264enc ! \
       h264parse ! qtmux ! filesink location=test.mp4 -e
  

• 将gst-v4l2解码器和nv3dsink与GRAY8管道一起使用：

  $ gst-launch-1.0 filesrc location=1280x720_30p.mp4 ! qtdemux ! \
       h264parse ! nvv4l2decoder ! nvvidconv compute-hw=GPU \
       nvbuf-memory-type=nvbuf-mem-cuda-device ! \
       'video/x-raw(memory:NVMM), format=(string)GRAY8' ! \
       nvvidconv compute-hw=GPU nvbuf-memory-type=nvbuf-mem-cuda-device ! \
       'video/x-raw(memory:NVMM), format=(string)I420' ! nv3dsink -e
  

输入以下命令以在专用GPU上执行基于CUDA的NVIDIA格式之间的转换：

• 使用gst-v4l2编码器：

  $ gst-launch-1.0 filesrc location=input_4k_60p_NV12.yuv ! videoparse width=3840 \
       height=2160 format=23 framerate=60 ! nvvidconv compute-hw=GPU \
       nvbuf-memory-type=nvbuf-mem-cuda-device ! 'video/x-raw(memory:NVMM), \
       width=(int)3840, height=(int)2160, format=(string)I420, framerate=60/1' ! \
       nvv4l2h264enc ! 'video/x-h264, stream-format=(string)byte-stream, \
       alignment=(string)au' ! h264parse ! qtmux ! \
       filesink location=test.mp4 -e
  

• 使用gst-v4l2解码器：

  $ gst-launch-1.0 filesrc location=1280x720_30p.mp4 ! qtdemux ! \
       h264parse ! nvv4l2decoder cudadec-memtype=1 ! nvvidconv compute-hw=GPU \
       nvbuf-memory-type=nvbuf-mem-cuda-device ! 'video/x-raw(memory:NVMM), \
       width=1280, height=720, format=(string)I420 ! nveglglessink -e
  

注

由于涉及“软件到硬件”内存副本，使用原始YUV输入的视频缩放是CPU密集型的。

注

由于涉及“硬件到软件”内存副本，使用原始YUV输出的视频缩放是CPU密集型的。

gst-nvivafilter

这个NVIDIA专有的GStreamer-1.0插件执行前/后和CUDA 对CSI相机捕获或解码的帧进行后处理操作，以及 使用覆盖视频接收器或视频编码渲染视频。 …注意:: gst-nvivafilter管道要求在停止lightdm时使用命令unset DISPLAY取消设置DISPLAY环境变量。

• 示例解码管道：

  • 使用gst-v4l2解码器：

    $ gst-launch-1.0 filesrc location=<filename.mp4> ! qtdemux ! queue ! \
         h264parse ! nvv4l2decoder ! nvivafilter cuda-process=true \
         customer-lib-name="libnvsample_cudaprocess.so" ! \
         'video/x-raw(memory:NVMM), format=(string)NV12' ! \
         nvdrmvideosink -e
    

• CSI相机管道示例：

  $ gst-launch-1.0 nvarguscamerasrc ! \
       'video/x-raw(memory:NVMM), width=(int)3840, height=(int)2160, \
       format=(string)NV12, framerate=(fraction)30/1' ! \
       nvivafilter cuda-process=true \
       customer-lib-name="libnvsample_cudaprocess.so" ! \
       'video/x-raw(memory:NVMM), format=(string)NV12' ! nv3dsink -e
  

注

要获取有关nvvidconv翻转方法属性的信息，请输入以下命令：

$ gst-inspect-1.0 nvvidconv

以不同格式合成解码流

• 使用gst-v4l2解码器：

  $ gst-launch-1.0 nvcompositor \
       name=comp sink_0::xpos=0 sink_0::ypos=0 sink_0::width=1920 \
       sink_0::height=1080 sink_1::xpos=0 sink_1::ypos=0 \
       sink_1::width=1600 sink_1::height=1024 sink_2::xpos=0 \
       sink_2::ypos=0 sink_2::width=1366 sink_2::height=768 \
       sink_3::xpos=0 sink_3::ypos=0 sink_3::width=1024 \
       sink_3::height=576 ! 'video/x-raw(memory:NVMM)' ! nv3dsink \
       filesrc location=<filename_h264_1080p_30fps.mp4> ! qtdemux ! \
       h264parse ! nvv4l2decoder ! comp. filesrc \
       location=<filename_h265_1080p_30fps.mp4> ! qtdemux ! h265parse ! \
       nvv4l2decoder ! comp. filesrc \
       location=<filename_av1_1080p_30fps.webm> ! matroskademux ! \
       nvv4l2decoder ! comp. filesrc \
       location=<filename_vp9_1080p_30fps.webm> ! \
       matroskademux  ! nvv4l2decoder ! comp. -e
  

合成不同的相机源

• 使用nvarguscamerasrc：

  $ gst-launch-1.0 nvcompositor \
       name=comp sink_0::xpos=960 sink_0::ypos=540 sink_0::width=960 \
       sink_0::height=540 sink_1::width=1920 sink_1::height=1080 ! \
       'video/x-raw(memory:NVMM)' ! queue ! nv3dsink \
       nvarguscamerasrc sensor-id=0 ! \
       'video/x-raw(memory:NVMM), width=(int)1920, height=(int)1080, \
       format=(string)NV12, framerate=30/1' ! comp. \
       nvarguscamerasrc sensor-id=1 ! \
       'video/x-raw(memory:NVMM), width=(int)1920, height=(int)1080, \
       format=(string)NV12, framerate=30/1' ! comp. -e
  

注

要显示有关nvvidconvinterpolation-method属性的信息，请输入以下命令：

$ gst-inspect-1.0 nvvidconv

使用双线性插值方法进行缩放

• 使用gst-v4l2管道并在JetsonLinux上执行基于VIC的扩展：

  $ gst-launch-1.0 filesrc location=<filename_1080p.mp4>! \
       qtdemux name=demux ! h264parse ! nvv4l2decoder ! \
       nvvidconv interpolation-method=1 ! \
       'video/x-raw(memory:NVMM), format=(string)I420, width=1280, \
       height=720' ! nvdrmvideosink -e
  

• 使用gst-v4l2管道并在集成GPU上执行基于CUDA的扩展：

  $ gst-launch-1.0 filesrc location=<filename_1080p.mp4> ! \
       qtdemux name=demux ! h264parse ! nvv4l2decoder ! \
       nvvidconv interpolation-method=1 compute-hw=GPU \
       nvbuf-memory-type=nvbuf-mem-cuda-device ! \
       'video/x-raw(memory:NVMM), format=(string)I420, width=1280, \
       height=720' ! nv3dsink -e
  

• 使用gst-v4l2管道并在专用GPU上执行基于CUDA的扩展：

  $ gst-launch-1.0 filesrc location=<filename_1080p.mp4> ! \
       qtdemux ! h264parse ! nvv4l2decoder cudadec-memtype=1 ! \
       nvvidconv interpolation-method=1 compute-hw=GPU \
       nvbuf-memory-type=nvbuf-mem-cuda-device ! \
       'video/x-raw(memory:NVMM), format=(string)NV12, width=1280, \
       height=720' ! nveglglessink -e
  

使用gst-install构建GStreamer

1. 运行命令：

   $ gst-install [--prefix=<install_path>] [--version=<version>]
   

   在哪里：

   • <install_path>是要安装GStreamer的位置。

   • <version>是要安装的GStreamer版本。

2. 运行命令：

   $ export LD_LIBRARY_PATH=<install_path>/lib/aarch64-linux-gnu
   $ export PATH=<install_path>/bin:$PATH
   

   其中<install_path>是GStreamer已安装的位置。

例如：

$ gst-install --prefix=/home/ubuntu/gst-1.16.2 --version=1.16.2
$ export LD_LIBRARY_PATH=/home/ubuntu/gst-1.16.2/lib/aarch64-linux-gnu
% export PATH=/home/ubuntu/gst-1.16.2/bin:$PATH

手动构建GStreamer

1. 下载最新版本的GStreamer，可从 freedesktop.orgGStreamer源目录。

   您需要版本1.16.2中的以下文件：

   • gstreamer-1.16.2.tar.xz

   • gst-plugins-base-1.16.2.tar.xz

   • gst-plugins-good-1.16.2.tar.xz

   • gst-plugins-bad-1.16.2.tar.xz

   • gst-plugins-ugly-1.16.2.tar.xz

2. 要安装所需的包，请输入命令：

   $ sudo apt-get install build-essential dpkg-dev flex bison \
         autotools-dev automake liborc-dev autopoint libtool \
         gtk-doc-tools libgstreamer1.0-dev
   

3. 在home（~）目录中，创建一个名为gst_<version>的子目录，其中<version>是您正在构建的GStreamer的版本号。

4. 将下载的.tar.xz文件复制到gst_<version>目录。

5. 解压缩gst_<version>目录中的.tar.xz文件。

6. 通过输入以下命令设置环境变量PKG_CONFIG_PATH.

   $ export PKG_CONFIG_PATH=/home/ubuntu/gst_1.16.2/out/lib/pkgconfig
   

7. 通过输入以下命令构建GStreamer（在本例中为gstreamer-1.16.2）：

   $ ./configure --prefix=/home/ubuntu/gst_1.16.2/out
   $ make
   $ make install
   

8. 构建gst-plugins-base-1.16.2通过输入以下命令：

   $ sudo apt-get install libxv-dev libasound2-dev libtheora-dev \
         libogg-dev libvorbis-dev
   $ ./configure --prefix=/home/ubuntu/gst_1.16.2/out
   $ make
   $ make install
   

9. 构建gst-plugins-good-1.16.2通过输入以下命令：

   $ sudo apt-get install libbz2-dev libv4l-dev libvpx-dev \
         libjack-jackd2-dev libsoup2.4-dev libpulse-dev
   $ ./configure --prefix=/home/ubuntu/gst_1.16.2/out
   $ make
   $ make install
   

10. 获取和构建gst-plugins-bad-1.16.2通过输入以下命令：

    $ sudo apt-get install faad libfaad-dev libfaac-dev
    $ ./configure --prefix=/home/ubuntu/gst_1.16.2/out
    $ make
    $ make install
    

11. 获取和构建gst-plugins-ugly-1.16.2通过输入以下命令：

    $ sudo apt-get install libx264-dev libmad0-dev
    $ ./configure --prefix=/home/ubuntu/gst_1.16.2/out
    $ make
    $ make install
    

12. 通过输入以下命令设置环境变量LD_LIBRARY_PATH：

    $ export LD_LIBRARY_PATH=/home/ubuntu/gst_1.16.2/out/lib/
    

13. 通过输入以下命令将NVIDIAgstreamer-1.0库复制到gst_1.16.2插件目录：

    $ cd /usr/lib/aarch64-linux-gnu/gstreamer-1.0/
    $ cp libgstnv\* ~/gst_1.16.2/out/lib/gstreamer-1.0/
    

    NVIDIAgstreamer-1.0库包括：

    • libgstnvarguscamera.so

    • libgstnvv4l2camerasrc.so

    • libgstnvcompositor.so

    • libgstnvdrmvideosink.so

    • libgstnveglglessink.so

    • libgstnveglstreamsrc.so

    • libgstnvegltransform.so

    • libgstnvivafilter.so

    • libgstnvjpeg.so

    • libgstnvtee.so

    • libgstnvvidconv.so

    • libgstnvvideo4linux2.so

    • libgstnvvideocuda.so

    • libgstnvvideosink.so

    • libgstnvvideosinks.so

注

默认情况下，nvgstcapture-1.0仅支持使用nvarguscamasrc插件的ARGUS API。不再支持旧版nvcamerasrc插件。

命令行选项

要显示命令使用信息，请使用以下命令行选项之一运行nvgstcapture-1.0：

• -h或--help：显示命令行选项（GStreamer选项除外）。

• --help-all：显示所有命令行选项。

• --help-get：显示GStreamer命令行选项。

下表描述了应用程序的其他命令行选项：

CSI相机支持的分辨率

CSI相机支持Nvargus相机的以下图像分辨率：

• 640×480

• 1280×720

• 1920×1080

• 2104×1560

• 2592×1944

• 2616×1472

• 3840×2160

• 3896×2192

• 4208×3120

• 5632×3168

• 5632×4224

CSI相机运行时命令

USB相机运行时命令

下表描述了USB相机运行时命令。

运行时视频编码器配置选项

下表描述了运行时视频编码器配置 支持的选项Nvarguscamera。

笔记

• nvgstcapture-1.0在与应用程序本身相同的目录中生成图像和视频输出文件。

• 文件名分别为以下格式：

  • 图片内容：nvcamtest_<pid>_<sensor_id>_<counter>.jpg

  • 视频内容：nvcamtest_<pid>_<sensor_id>_<counter>.mp4

  在哪里：

  • <pid>是进程ID。

  • <sensor_id>是传感器ID。

  • <counter>是每次运行应用程序时从0开始的计数器。

• 在运行之间重命名或移动文件以避免覆盖要保存的结果。

• 该应用程序默认支持本机捕获模式（仅限视频）。

• USB相机不支持高级功能，例如设置变焦、亮度、曝光和白平衡级别。

命令行选项

$ nvgstplayer-1.0 --help

此表描述了nvgstplayer-1.0命令行选项。

nvgstplayer-1.0运行时命令

此表描述了nvgstplayer运行时命令。

CSI摄像机

• 捷信AGX Xavier系列可以通过CSI接口捕捉相机图像。

• Jetson AGX Xavier系列支持YUV和RAW Bayer捕获数据。

• GStreamer支持从多个CSI摄像机同时捕获。使用nvgstcapture应用程序验证支持。

• 捕获验证SDR，PWL HDR和DOL HDR模式的各种传感器使用nvgstcapture应用程序。

• Jetson AGX Xavier系列还支持MIPI CSI虚拟通道功能。虚拟通道是一个唯一的通道标识符，用于通过支持的GMSL（千兆多媒体串行链路）聚合器共享相同CSI端口/砖和CSI流的多路复用传感器流。

• GMSL+VC捕获在Jetson AGX Xavier系列上使用nvgstcapture应用程序进行验证。参考GMSL模块（MAX9295-seralizer/MAX9296-deserializer/IMX390-传感器）用于验证目的。

USB 2.0相机

以下相机已在运行带有USB 2.0端口的JetsonLinux的Jetson平台上进行了验证。此相机符合UVC标准。

• 罗技C920

工业相机详细信息

以下USB 3.0工业相机在JetsonLinux下的Jetson AGX Xavier系列上得到验证：

• 查看_CU130

这款相机的特点是：

• USB 3.0

• UVC兼容

• 3840×2160,30 FPS；4224×3156,13 FPS

• 目的-嵌入式导航

• 使用nvgstcatch应用程序进行测试。

• 遇到的问题：

  FPS无法修复。根据曝光进行更改。

  FPS无法更改。需要向供应商付款才能将支持添加到他们的固件中。