当前位置:   article > 正文

ArmSoM-W3之RK3588-MPP实现多路硬解码拉流_rk3588 rtsp mpp rga

rk3588 rtsp mpp rga

简介

  • 学习完MPP的解码Demo之后,想必大家都想通过一个项目来进行RK3588-MPP的解码实战。
  • 本篇文章就基于ArmSoM-W3开发板,开发一个多路硬解码项目,实现四路MPP硬解码拉流显示
  • 实现的效果如下:

RK3588四路MPP硬解码拉流

环境介绍

  • 硬件环境:
    ArmSoM-W3 RK3588开发板

  • 软件版本:
    OS:ArmSoM-W3 Debian11

思路:

ArmSoM-W3 + QT+FFmpeg +RTSP+ MPP实现多路硬解码拉流

  • mpp对外接口是输入MppPacket结构体指针:MppPacket *

    那么,MppPacket 数据从哪里来?

  • 通过FFmpeg进行拉流,拉RTSP流解封装为AVPacket数据类型,然后传给mpp进行硬解码

     1.首先由ffmpeg完成拉流工作获取到AVPacket。
    
     2.MPP接收到AVPacket数据然后转换成MppPacket再进行硬解码。
    
     3.MPP解码之后交给rga负责图片格式转换裁切等工作。
    
     4.交给qt渲染显示。
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7

1. FFmpeg打开MP4格式文件或者进行拉流获取到AVPacket

核心代码:

AVPacket *av_packet = nullptr;
av_packet = (AVPacket *)av_malloc(sizeof(AVPacket));

char filepath[] = "rtsp://admin:armsom@80.0.0.211:854/armsomvideo";// rtsp 地址

avformat_open_input(&pFormatCtx, filepath, nullptr, &options)    //打开多媒体流,并且获取一些信息

 //读取一帧数据存到av_packet,av_packet是FFmpeg和MMP的数据互通接口
av_read_frame(pFormatCtx, av_packet) 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

2. MPP获取到从FFmpeg传过来的AVPacket 数据然后进行硬解码

核心代码:

//将FFmpeg拉流获取到的av_packet数据通过函数参数传给MPP进行硬解码
int MppDecode::decode_simple(MppDecode::MpiDecLoopData *data, AVPacket *av_packet)
{
	MPP_RET ret = MPP_OK;
	MppPacket packet = nullptr;
    MppFrame  frame  = nullptr;

   //将AVPacket 数据转换为MppPacket数据 (实际上是MppPacket  ->data =  AVPacket  ->data)
    ret = mpp_packet_init(&packet, av_packet->data, av_packet->size); 
	mpp_packet_set_pts(packet, av_packet->pts);
	mpp_packet_set_dts(packet, av_packet->dts);
	
	// 输入MppPacket,输出MppFrame
	mpi->decode_put_packet(ctx, packet)
	mpi->decode_get_frame(ctx, &frame)
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16

3. MPP解码之后交给rga负责图片格式转换裁切等工作

  • 从MPP解码后获得的数据是YUV_420sp类型。我们用RGA将其转换成RGB888的数据数据格式方便QT显示

4. qt渲染显示

  • qt渲染方面可以通过lable或者OpenGL来显示

5. 更多项目设计详情请前往ArmSoM官方论坛进行讨论

ArmSoM 产品介绍: http://wiki.armsom.org/index.php/ArmSoM-w3

ArmSoM 技术论坛: http://forum.armsom.org/

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小丑西瓜9/article/detail/69384
推荐阅读
相关标签
  

闽ICP备14008679号