Qt/C++音视频开发67-保存裸流加入sps/pps信息/支持264/265裸流/转码保存/拉流推流_qt裸流解码

一、前言

音视频组件除了支持保存MP4文件外，同时还支持保存裸流即264/265文件，以及解码后最原始的yuv文件。在实际使用过程中，会发现部分视频文件保存的裸流文件，并不能直接用播放器播放，查阅资料得知原来是缺少sps/pps信息，监控行业的rtsp/rtmp/录像mp4文件都是会带的，所以很少遇到这个现象。其实sps/pps信息在解码的时候就已经在对应AVCodecContext或者AVStream的extradata中，只是在av_read_frame后的AVPacket，有些流带了sps/pps而有些流就没带，没带的就需要主动加上。那如果带了也又加上，会不会出问题呢？答案是不会的，在执行av_bsf_send_packet/av_bsf_receive_packet的时候里面会自动过滤判断。测试下来发现，只有裸流才需要加入，如果是原数据或者编码数据保存到MP4文件则不需要，因为在创建MP4流的时候就已经复制了原始流的参数，那个参数中就包含了extradata，所以在写入数据的时候就会自动加上。保存裸流到文件这个需求也是有的，尤其是现在人工智能分析，基本上需要传入264/265裸流进行运算分析，音频传输pcm数据。

在h264流中，有两种NALU极其的重要，序列参数集（Sequence Paramater Set，SPS）和图像参数集（Picture ParamaterSet，PPS），SPS中的信息至关重要，记录了编码的prfile、level、图像宽高等，如果其中的数据丢失或出现错误，那么解码过程很可能会失败。每一帧编码后数据所依赖的参数保存于PPS中。一般情况SPS和PPS的NAL Unit通常位于整个码流的起始位置。封装文件一般