FFmpeg视频解码器_ffmpeg解码器

作者：不正经 | 2024-04-18 13:59:05

踩

ffmpeg解码器

本博客是摘自雷霄骅大神的课程《基于 FFmpeg + SDL 的视频播放器的制作》课程里的内容，非常适合音视频小白入门，在这里感谢雷神的指导！

视频解码知识

• 纯净的视频解码流程
压缩编码数据->像素数据。
例如解码H.264，就是“H.264码流->YUV”。

• 一般的视频解码流程
视频码流一般存储在一定的封装格式（例如MP4、AVI等）中。封装格式中通常还包含音频码流等内容。
对于封装格式中的视频，需要先从封装格式中提取中视频码流，然后再进行解码。
例如解码MKV格式的视频文件，就是“MKV->H.264码流->YUV”。

VC下FFmpeg开发环境的搭建

• 新建控制台工程
打开VC++
文件->新建->项目->控制台应用程序

• 拷贝FFmpeg开发文件
头文件（*.h）拷贝至项目文件夹的include子文件夹下
导入库文件（*.lib）拷贝至项目文件夹的lib子文件夹下
动态库文件（*.dll）拷贝至项目文件夹下

• 配置开发文件
• 打开属性面板
解决方案资源管理器->右键单击项目->属性
（平台选择x64）
• 头文件配置
配置属性->C/C+±>常规->附加包含目录，输入“include”（刚才拷贝头文件的目录）
• 导入库配置
配置属性->链接器->常规->附加库目录，输入“lib” （刚才拷贝库文
件的目录）
配置属性->链接器->输入->附加依赖项，输入“avcodec.lib; avformat.lib; avutil.lib; avdevice.lib; avfilter.lib; postproc.lib; swresample.lib; swscale.lib”（导入库的文件名）
• 动态库不用配置

测试
• 创建源代码文件
在工程中创建一个包含main()函数的C/C++文件（如果已经有了可以跳过这一步）。
• 包含头文件
如果是C语言中使用FFmpeg，则直接使用下面代码

#include "libavcodec/avcodec.h" 
1

如果是C++语言中使用FFmpeg，则使用下面代码
#define __STDC_CONSTANT_MACROS

extern "C"
{
#include "libavcodec/avcodec.h " 
} 
1
2
3
4

main()中调用一个FFmpeg的接口函数
例如下面代码打印出了FFmpeg的配置信息

int main(int argc, char* argv[]){
	printf("%s", avcodec_configuration());
	return 0;
}
1
2
3
4

如果运行无误，则代表FFmpeg已经配置完成。

• FFmpeg库简介
FFmpeg一共包含8个库：

▫ avcodec：编解码（最重要的库）。
▫ avformat：封装格式处理。
▫ avfilter：滤镜特效处理。
▫ avdevice：各种设备的输入输出。
▫ avutil：工具库（大部分库都需要这个库的支持）。
▫ postproc：后加工。
▫ swresample：音频采样数据格式转换。
▫ swscale：视频像素数据格式转换。

示例程序运行

因为雷神代码比较久远，在最新环境下很多都不能运行了，但是大体思路还是不变的（在雷神给的vs文件中还是可以运行的），我也将很多废弃的代码进行整改

/**
 * 最简单的基于FFmpeg的解码器
 * Simplest FFmpeg Decoder
 *
 * 雷霄骅 Lei Xiaohua
 * leixiaohua1020@126.com
 * 中国传媒大学/数字电视技术
 * Communication University of China / Digital TV Technology
 * http://blog.csdn.net/leixiaohua1020
 *
 * 本程序实现了视频文件的解码(支持HEVC，H.264，MPEG2等)。
 * 是最简单的FFmpeg视频解码方面的教程。
 * 通过学习本例子可以了解FFmpeg的解码流程。
 * This software is a simplest video decoder based on FFmpeg.
 * Suitable for beginner of FFmpeg.
 *
 */

#include <stdio.h>

#define __STDC_CONSTANT_MACROS

extern "C"
{
#include "libavcodec/avcodec.h"
#include "libavformat/avformat.h"
#include "libswscale/swscale.h"
#include "libavutil/imgutils.h"
};

int main(int argc, char* argv[])
{
    AVFormatContext* pFormatCtx;
    int				i, videoindex;
    AVCodecContext* pCodecCtx;
    AVCodec* pCodec;
    AVFrame* pFrame, * pFrameYUV;
    uint8_t* out_buffer;
    AVPacket* packet;
    int y_size;
    int ret, got_picture;
    struct SwsContext* img_convert_ctx;
    //输入文件路径
    char filepath[] = "Titanic.ts";

    int frame_cnt;

    //av_register_all();
    avformat_network_init();
    pFormatCtx = avformat_alloc_context();

    if (avformat_open_input(&pFormatCtx, filepath, NULL, NULL) != 0) {
        printf("Couldn't open input stream.\n");
        return -1;
    }
    if (avformat_find_stream_info(pFormatCtx, NULL) < 0) {
        printf("Couldn't find stream information.\n");
        return -1;
    }
    videoindex = -1;
    for (i = 0; i < pFormatCtx->nb_streams; i++)
        if (pFormatCtx->streams[i]->codecpar->codec_type == AVMEDIA_TYPE_VIDEO) {
            videoindex = i;
            break;
        }
    if (videoindex == -1) {
        printf("Didn't find a video stream.\n");
        return -1;
    }

    AVCodecParameters* codecParameters = pFormatCtx->streams[videoindex]->codecpar;
    pCodecCtx = avcodec_alloc_context3(nullptr);
    avcodec_parameters_to_context(pCodecCtx, codecParameters);

    //pCodecCtx=pFormatCtx->streams[videoindex]->codec;
    pCodec = (AVCodec*)avcodec_find_decoder(pCodecCtx->codec_id);
    if (pCodec == NULL) {
        printf("Codec not found.\n");
        return -1;
    }
    if (avcodec_open2(pCodecCtx, pCodec, NULL) < 0) {
        printf("Could not open codec.\n");
        return -1;
    }
    FILE* fp, * fp_264, * fp_yuv;
    fopen_s(&fp, "info.txt", "wb+");
    fopen_s(&fp_264, "output264.h264", "wb+");
    fopen_s(&fp_yuv, "outputyuv.yuv", "wb+");
    /*
     * 在此处添加输出视频信息的代码
     * 取自于pFormatCtx，使用fprintf()
     */
    fprintf(fp, "shichang: %d\n", pFormatCtx->duration);
    fprintf(fp, "fengzhuanggeshi:%s\n", pFormatCtx->iformat->long_name);
    fprintf(fp, "kuangao: %d*%d\n", pCodecCtx->width, pCodecCtx->height);

    packet = av_packet_alloc();
    pFrame = av_frame_alloc();
    pFrameYUV = av_frame_alloc();

    out_buffer = (uint8_t*)av_malloc(av_image_get_buffer_size(AV_PIX_FMT_YUV420P, pCodecCtx->width, pCodecCtx->height, 1));
    av_image_fill_arrays(pFrameYUV->data, pFrameYUV->linesize, out_buffer, AV_PIX_FMT_YUV420P, pCodecCtx->width, pCodecCtx->height, 1);


    //Output Info-----------------------------
    printf("--------------- File Information ----------------\n");
    av_dump_format(pFormatCtx, 0, filepath, 0);
    printf("-------------------------------------------------\n");
    img_convert_ctx = sws_getContext(pCodecCtx->width, pCodecCtx->height, pCodecCtx->pix_fmt, pCodecCtx->width, pCodecCtx->height, AV_PIX_FMT_YUV420P, SWS_BICUBIC, NULL, NULL, NULL);

    frame_cnt = 0;
    while (av_read_frame(pFormatCtx, packet) >= 0) {
        if (packet->stream_index == videoindex) {
            /*
                 * 在此处添加输出H264码流的代码
                 * 取自于packet，使用fwrite()
                 */

            fwrite(packet->data, 1, packet->size, fp_264);

            if (avcodec_send_packet(pCodecCtx, packet) < 0) {
                printf("avcodec_send_packet failed!.\n");
                continue;
            }
            while (1)
            {
                ret = avcodec_receive_frame(pCodecCtx, pFrame);
                if (ret != 0)break;
                sws_scale(img_convert_ctx, (const uint8_t* const*)pFrame->data, pFrame->linesize, 0, pCodecCtx->height, pFrameYUV->data, pFrameYUV->linesize);
                printf("Decoded frame index: %d\n", frame_cnt);

                /*
                 * 在此处添加输出YUV的代码
                 * 取自于pFrameYUV，使用fwrite()
                 */
                fwrite(pFrameYUV->data[0], 1, pCodecCtx->width * pCodecCtx->height, fp_yuv);
                fwrite(pFrameYUV->data[1], 1, pCodecCtx->width * pCodecCtx->height / 4, fp_yuv);
                fwrite(pFrameYUV->data[2], 1, pCodecCtx->width * pCodecCtx->height / 4, fp_yuv);
                frame_cnt++;
            }
        }
        av_packet_unref(packet);
    }

    sws_freeContext(img_convert_ctx);

    fclose(fp);
    fclose(fp_264);
    fclose(fp_yuv);
    av_frame_free(&pFrameYUV);
    av_frame_free(&pFrame);
    avcodec_close(pCodecCtx);
    avformat_close_input(&pFormatCtx);

    return 0;
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157

在这里插入图片描述

FFmpeg解码的函数

FFmpeg解码的流程图如下所示：
在这里插入图片描述

FFmpeg解码函数简介：
• av_register_all()：注册所有组件（目前废弃）。
• avformat_open_input()：打开输入视频文件。
• avformat_find_stream_info()：获取视频文件信息。
• avcodec_find_decoder()：查找解码器。
• avcodec_open2()：打开解码器。
• av_read_frame()：从输入文件读取一帧压缩数据。

• avcodec_decode_video2()：解码一帧压缩数据（目前废弃）。
取代：（这两个函数要特别注意，有很多注意点）
avcodec_send_packet()：发送编码数据包
avcodec_receive_frame()：接收解码后数据

• avcodec_close()：关闭解码器。
• avformat_close_input()：关闭输入视频文件。

PS：初次学习，一定要将这些函数名称熟记于心

FFmpeg解码的数据结构

FFmpeg解码的数据结构如下所示：
注意AVCodecContext已经被AVCodecParameters取代，但是编解码仍然离不开AVCodecContext，所以有avcodec_parameters_to_context函数可以将AVCodecParameters的信息填充到AVCodecContext中。
在这里插入图片描述
FFmpeg数据结构简介
• AVFormatContext
封装格式上下文结构体，也是统领全局的结构体，保存了视频文件封装格式相关信息。

• AVInputFormat
每种封装格式（例如FLV, MKV, MP4, AVI）对应一个该结构体。

• AVStream
视频文件中每个视频（音频）流对应一个该结构体。

• AVCodecParameters
此结构描述编码流的属性。

• AVCodecContext
编码器上下文结构体，保存了视频（音频）编解码相关信息。

• AVCodec
每种视频（音频）编解码器(例如H.264解码器)对应一个该结构体。

• AVPacket
存储一帧压缩编码数据。

• AVFrame
存储一帧解码后像素（采样）数据。

FFmpeg数据结构分析
• AVFormatContext
iformat：输入视频的AVInputFormat
nb_streams ：输入视频的AVStream 个数
streams ：输入视频的AVStream []数组
duration ：输入视频的时长（以微秒为单位）
bit_rate ：输入视频的码率

• AVInputFormat
name：封装格式名称
long_name：封装格式的长名称
extensions：封装格式的扩展名
id：封装格式ID
一些封装格式处理的接口函数

• AVStream
id：序号
codec：该流对应的AVCodecContext
time_base：该流的时基
r_frame_rate：该流的帧率

• AVCodecContext
codec：编解码器的AVCodec
width, height：图像的宽高（只针对视频）
pix_fmt：像素格式（只针对视频）
sample_rate：采样率（只针对音频）
channels：声道数（只针对音频）
sample_fmt：采样格式（只针对音频）

• AVCodec
name：编解码器名称
long_name：编解码器长名称
type：编解码器类型
id：编解码器ID
一些编解码的接口函数

• AVPacket
pts：显示时间戳
dts ：解码时间戳
data ：压缩编码数据
size ：压缩编码数据大小
stream_index ：所属的AVStream

• AVFrame
data：解码后的图像像素数据（音频采样数据）。
linesize：对视频来说是图像中一行像素的大小；对音频来说是整个音频帧的大小。
width, height：图像的宽高（只针对视频）。
key_frame：是否为关键帧（只针对视频）。
pict_type：帧类型（只针对视频）。例如I，P，B。

补充小知识
• 解码后的数据为什么要经过sws_scale()函数处理？
• 解码后YUV格式的视频像素数据保存在AVFrame的data[0]、data[1]、data[2]中。但是这些像素值并不是连续存储的，每行有效像素之后存储了一些无效像素。以亮度 Y 数据为例， data[0] 中一共包含了linesize[0]*height个数据。但是出于优化等方面的考虑，linesize[0]实际上并不等于宽度width，而是一个比宽度大一些的值。因此需要使用sws_scale()进行转换。转换后去除了无效数据，width和linesize[0]取值相等。
在这里插入图片描述

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/不正经/article/detail/446331