devbox
IT小白
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

ffmpeg ffplay 基于h264中SEI信息进行双摄画面拆分播放实践

作者：IT小白 | 2024-04-29 21:25:31

赞

踩

ffmpeg ffplay 基于h264中SEI信息进行双摄画面拆分播放实践

1.背景

        工作中用到IPCamera支持双摄（即一个IPCamera带两个摄像头），IPC端将两个摄像头的画面上下拼接成了一个画面发布dash到云端，并且携带SEI信息。SEI信息中带两个frame（x, y, width, height），app端（iOS、安卓）根据这个信息拆分画面通过opengl展示到两个view上，以便以不同的排列方式展示双摄画面。

 2. 使用ffplay播放单个画面，请参考：

ffplay+SDL2+opengles在iOS中使用(参考ijkplayer)_ffplay swift ios-CSDN博客

3. ffp_handleSEI方法用于将AVPacket中的SEI信息读取到multi成员变量中。

  1. //根据视频获取的AVPacket获取SEI中的双摄画面信息，以便根据这些信息拆分显示双摄。
  2. void FSPlay::ffp_handleSEI(AVPacket *pkt) {
  3.     //如果不需要查询SEI信息（单摄不需要查询）或multi数据已经获取过了（仅获取一次即可），则直接返回。
  4.     if (!needSearchSEI || multi.acquired) {
  5.         return;
  6.     }
  7.     
  8.     //将AVPacket的data、size数据传入sei_saas_data_without_nal_unit方法获取实际的SEI buf，内部通过查询前后256byte的数据查找对应的uuid，找到uuid后其后边就是SEI对应的数据。
  9.     //NAL引导码 + NAL帧类型(SEI) + SEI帧类型(用户自定义类型) + 数据长度 + UUID + 净荷数据 + 0X80
  10.     //引导码为0x00 0x00 0x00 0x01或者 0x00 0x00 0x01，NAL帧类型为6，SEI帧类型为5，数据长度为UUID长度+ 净荷数据长度 0x80为尾部固定。
  11.     fsbase::ByteBuf buf = fsbase::sei_saas_data_without_nal_unit(pkt->data, pkt->size);
  12.     if (buf.size() > 0) {
  13.         fsbase::sei_frame_t f;
  14.         
  15.         //通过SEI的buf data创建sei_frame结构体。
  16.         fsbase::sei_frame_make(buf.data(), 0, &f);
  17.         
  18.         //如果saas_data有效时执行if代码。
  19.         if (f.saas_data != NULL && f.saas_len > 0) {
  20.             
  21.             //根据saas_data构建multi结构体。
  22.             std::shared_ptr<fsbase::multi_rect_t> multi_cpp = fsbase::sei_query_multi_rect(f.saas_data, f.saas_len);
  23.             
  24.             //如果multi_cpp有效时执行if代码。
  25.             if (multi_cpp != NULL) {
  26.                 
  27.                 //如果count数量为2的时候说明是对的，继续执行if
  28.                 if (multi_cpp->count + 1 >= 2) {
  29.                     
  30.                     //将acquired设置为1表示已经获取过multi数据了，后续可以直接使用，不需要重复获取了。
  31.                     multi.acquired = 1;
  32.                     
  33.                     //从multi_cpp中读取rects[0]的x,y,width,height数据保存到成员变量multi中。
  34.                     multi.primary = FSFrameRange();
  35.                     multi.primary.x = multi_cpp->rects[0].x;
  36.                     multi.primary.y = multi_cpp->rects[0].y;
  37.                     multi.primary.width = multi_cpp->rects[0].w;
  38.                     multi.primary.height = multi_cpp->rects[0].h;
  39.                     
  40.                     //从multi_cpp中读取rects[1]的x,y,width,height数据保存到成员变量multi中。
  41.                     multi.secondary = FSFrameRange();
  42.                     multi.secondary.x = multi_cpp->rects[1].x;
  43.                     multi.secondary.y = multi_cpp->rects[1].y;
  44.                     multi.secondary.width = multi_cpp->rects[1].w;
  45.                     multi.secondary.height = multi_cpp->rects[1].h;
  46.                 }
  47.             }
  48.         }
  49.     }
  50. }

4. 在获取到视频的AVPacket时调用ffp_handleSEI方法读取SDI信息

  1. int FSPlay::read_thread(void *arg) {
  2.     //...省略代码
  3.     if (pkt->stream_index == is->video_stream && pkt_in_play_range
  4.                    && !(is->video_st->disposition & AV_DISPOSITION_ATTACHED_PIC)) {
  5.         packet_queue_put(&is->videoq, pkt);
  6.  
  7.         //调用ffp_handleSEI读取SEI信息到multi
  8.         ffp_handleSEI(pkt);
  9.     }
  10.     //...省略代码
  11. }

5. video_image_display方法中根据multi的primary和secondary将原rgb数据拆分成两个画面分别回调给opengl端显示。

  1. void FSPlay::video_image_display(VideoState *is)
  2. {
  3.     Frame *vp;
  4.  
  5.     vp = frame_queue_peek_last(&is->pictq);
  6.     
  7.     if (rgbFrame == NULL) {
  8.         rgbFrame = av_frame_alloc();
  9.     }
  10.     av_image_alloc(rgbFrame->data, rgbFrame->linesize, vp->width, vp->height, AV_PIX_FMT_RGB24, 1);
  11.  
  12.     enum AVPixelFormat sw_pix_fmt = (enum AVPixelFormat)(vp->format);
  13.  
  14.     swsContext = sws_getContext(vp->width, vp->height, sw_pix_fmt, vp->width, vp->height, AV_PIX_FMT_RGB24, SWS_BILINEAR, NULL, NULL, NULL);
  15.  
  16.     SDL_LockMutex(is->pictq.mutex);
  17.     sws_scale(swsContext, vp->frame->data, vp->frame->linesize, 0, vp->frame->height, rgbFrame->data, rgbFrame->linesize);
  18.     SDL_UnlockMutex(is->pictq.mutex);
  19.     
  20.     //如果不需要查询SEI信息（单摄不需要查询，或者multi没有获得时走单摄的显示逻辑。
  21.     if (!needSearchSEI || !multi.acquired) {
  22.         VideoFrame *videoFrame = (VideoFrame *)malloc(sizeof(VideoFrame));
  23.         videoFrame->width = vp->width;
  24.         videoFrame->height = vp->height;
  25.         videoFrame->planar = 1;
  26.         videoFrame->pixels[0] = (uint8_t *)malloc(vp->width * vp->height * 3);
  27.         
  28.         videoFrame->format = AV_PIX_FMT_RGB24;
  29.         copyFrameData(videoFrame, rgbFrame);
  30.         if (renderCallback != NULL && openglesView != NULL) {
  31.             renderCallback(openglesView, videoFrame);
  32.         }
  33.         free(videoFrame->pixels[0]);
  34.         free(videoFrame);
  35.     } else {
  36.         //创建destination1用来放主摄的rgb数据。
  37.         VideoFrame *destination1 = (VideoFrame *)malloc(sizeof(VideoFrame));
  38.         destination1->width = multi.primary.width;
  39.         destination1->height = multi.primary.height;
  40.         destination1->planar = 1;
  41.         
  42.         //根据目标主摄尺寸分配内存buf。
  43.         destination1->pixels[0] = (uint8_t *)malloc(destination1->width * destination1->height * 3);
  44.         destination1->format = AV_PIX_FMT_RGB24;
  45.         
  46.         //根据multi.primary的x,y,width,height拷贝数据从rgbFrame到destination1->pixels[0]中。
  47.         copyFrameData(destination1, rgbFrame, &(multi.primary));
  48.         
  49.         //通过renderCallback将主摄的显示view和画面数据回调给opengl端进行绘制。
  50.         if (renderCallback != NULL && openglesView != NULL) {
  51.             renderCallback(openglesView, destination1);
  52.         }
  53.         
  54.         //释放资源。
  55.         free(destination1->pixels[0]);
  56.         free(destination1);
  57.         
  58.         //创建destination2用来放次摄的rgb数据。
  59.         VideoFrame *destination2 = (VideoFrame *)malloc(sizeof(VideoFrame));
  60.         destination2->width = multi.secondary.width;
  61.         destination2->height = multi.secondary.height;
  62.         destination2->planar = 1;
  63.         
  64.         //根据目标次摄尺寸分配内存buf。
  65.         destination2->pixels[0] = (uint8_t *)malloc(destination2->width * destination2->height * 3);
  66.         destination2->format = AV_PIX_FMT_RGB24;
  67.         
  68.         //根据multi.secondary的x,y,width,height拷贝数据从rgbFrame到destination2->pixels[0]中。
  69.         copyFrameData(destination2, rgbFrame, &(multi.secondary));
  70.         
  71.         //通过renderSecondCallback将次摄的显示view和画面数据回调给opengl端进行绘制。
  72.         if (renderSecondCallback != NULL && renderSecondView != NULL) {
  73.             renderSecondCallback(renderSecondView, destination2);
  74.         }
  75.         
  76.         //释放资源。
  77.         free(destination2->pixels[0]);
  78.         free(destination2);
  79.     }
  80.     
  81.     av_freep(&rgbFrame->data[0]);
  82.     sws_freeContext(swsContext);
  83.     swsContext = NULL;
  84. }

6. copyFrameData方法用于将原rgb数据以指定的range拷贝到目标Frame中。

  1. //将source中的数据根据range标识的x,y,width,height拷贝到destination中
  2. void FSPlay::copyFrameData(VideoFrame *destination, AVFrame *source, FSFrameRange *range) {
  3.     //获取原始数据指针
  4.     uint8_t *src = source->data[0];
  5.     
  6.     //获取目标数据指针
  7.     uint8_t *dst = destination->pixels[0];
  8.     
  9.     //获取linesize，src每次换行时通过linesize进行偏移。
  10.     int linesize = source->linesize[0];
  11.     
  12.     //拿到目标的宽高，width为byte数，height为循环次数
  13.     int width = destination->width * 3;
  14.     int height = destination->height;
  15.     
  16.     //重置内存为0
  17.     memset(dst, 0, width * height);
  18.     
  19.     //将src指针偏移到需要拷贝的首行
  20.     src += linesize * range->y;
  21.     
  22.     //遍历height次。
  23.     for (int i = 0; i < height; ++i) {
  24.         //拷贝单行数据，从src偏移x * 3开始拷贝，共拷贝width长度。
  25.         memcpy(dst, src + range->x * 3, width);
  26.         
  27.         //目标指针偏移一行
  28.         dst += width;
  29.         
  30.         //src指针偏移一行
  31.         src += linesize;
  32.     }
  33. }

7. sei_saas_data_without_nal_unit方法用于根据uuid去搜索SEI信息，搜索前256字节和后256字节。

  1. ByteBuf sei_saas_data_without_nal_unit(const uint8_t *buf, int size) {
  2.     /* 先搜索前IV_SEI_PROBE_SIZE字节 */
  3.     int index = 0;
  4.     int end = MIN(IV_SEI_PROBE_SIZE, size);
  5.     
  6. __SEARCH__:
  7.     while (index < end) {
  8.         auto byteBuf = search_sei_data_by_uuid(buf + index, size - index);
  9.         if (byteBuf.size() == 0) {
  10.             index = end;
  11.             break;
  12.         }
  13.         return byteBuf;
  14.     }
  15.     
  16.     /* 若后面还有数据，再搜索后IV_SEI_PROBE_SIZE字节 */
  17.     if (index < size) {
  18.         index = MAX(index, size - IV_SEI_PROBE_SIZE);
  19.         end   = size;
  20.         goto __SEARCH__;
  21.     }
  22.     
  23.     return ByteBuf();
  24. }
  25.  
  26. /**
  27.  跟据UUID搜索自定义SEIData数据位置
  28.  
  29.  - Parameters:
  30.  - p: 搜索起始地址
  31.  - size: 搜索区间长度
  32.  - sei_buf: 查找到的SEIData数据位置, IV_SEI_UUID[]开头
  33.  @return 返回SEIData数据长度
  34.  */
  35. static ByteBuf search_sei_data_by_uuid(const uint8_t *p, int size) {
  36.     int i = 2;
  37.     
  38.     while (size - i > IV_SEI_UUID_LEN) {
  39.         // 检查是哪个版本的SEI协议
  40.         for (int v = 0; v < sizeof(SEI_UUIDs) / sizeof(SEI_UUIDs[0]); v++) {
  41.             auto &uuid = SEI_UUIDs[v];
  42.             // a.（低成本）初步匹配前4字节
  43.             // b.（高成本）校验UUID是否全匹配T平台协议
  44.             if (CHECK_FIRST_4BYTES_EQUAL(p+i, uuid) && memcmp(p + i + 4, &uuid[4], IV_SEI_UUID_LEN-4) == 0){
  45.                 int k = i - 1;
  46.                 // c. 获取净荷长度, 往后累加数值直到不是0xFF后为止，累加的数值作为数据长度
  47.                 int payloadLen = p[k];
  48.                 while (k > 0 && p[--k] == 0xFF) {
  49.                     payloadLen += 0xFF;
  50.                 }
  51.                 
  52.                 ByteBuf res;
  53.                 if (v == 0) {
  54.                     res = ByteBuf(p + i, p + i + payloadLen);
  55.                 } else {
  56.                     res = remove_redundant_bytes(p + i, payloadLen);
  57.                 }
  58.                 
  59.                 // d. SEI类型值是用户自定义的固定为0x05
  60.                 // e. 校验SEI帧结尾是否为0x80
  61.                 if (p[k             ] == IV_SEI_USER_DATA &&
  62.                     p[i + payloadLen] == IV_SEI_DATA_END) {
  63.                     return res;
  64.                 }
  65.             }
  66.         }
  67.         
  68.         i++;
  69.     }
  70.     return ByteBuf();
  71. }

8. 通过renderCallback和renderSecondCallback回调的画面数据，用opengles进行渲染，显示到两个对应的view上。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/IT小白/article/detail/509866
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号