音视频处理过程总流程图：
音视频处理过程总流程图
ffmpeg 整体结构：
ffmpeg 整体结构
FFMPEG有8个常用库：
- AVUtil：核心工具库，下面的许多其他模块都会依赖该库做一些基本的音
视频处理操作。 - AVFormat：文件格式和协议库，该模块是最重要的模块之一，封装了
Protocol层和Demuxer、Muxer层，使得协议和格式对于开发者来说是透
明的。 - AVCodec：编解码库，封装了Codec层，但是有一些Codec是具备自己的
License的，FFmpeg是不会默认添加像libx264、FDK-AAC等库的，但是
FFmpeg就像一个平台一样，可以将其他的第三方的Codec以插件的方式
添加进来，然后为开发者提供统一的接口。 - AVFilter：音视频滤镜库，该模块提供了包括音频特效和视频特效的处理，在使用FFmpeg的API进行编解码的过程中，直接使用该模块为音视频数
据做特效处理是非常方便同时也非常高效的一种方式。 - AVDevice：输入输出设备库，比如，需要编译出播放声音或者视
频的工具ffplay，就需要确保该模块是打开的，同时也需要SDL的
预先编译，因为该设备模块播放声音与播放视频使用的都是SDL库。 - SwrRessample：该模块可用于音频重采样，可以对数字音频进行
声道数、数据格式、采样率等多种基本信息的转换。 - SWScale：该模块是将图像进行格式转换的模块，比如，可以将
YUV的数据转换为RGB的数据，缩放尺寸由1280720变为800480。 - PostProc：该模块可用于进行后期处理，当我们使用AVFilter的时
候需要打开该模块的开关，因为Filter中会使用到该模块的一些基
础函数。
ffmpeg封装格式相关的库函数
| 函数原型 | 说明 |
|---|---|
| avformat_alloc_context() | 负责申请一个AVFormatContext结构的内存,并进行简单初始化 |
| avformat_free_context() | 释放该结构里的所有东西以及该结构本身 |
| avformat_close_input() | 关闭解复用器。关闭后就不再需要使用avformat_free_context() 进行释放 |
| avformat_open_input() | 打开输入视频文件 |
| avformat_find_stream_info() | 获取音视频文件信息 |
| av_read_frame() | 读取音视频包 |
| avformat_seek_file() | 定位文件 |
| av_seek_frame() | 定位文件 |
封装格式流程图
ffmpeg解码器相关的库函数
| 函数原型 | 说明 |
|---|---|
| avcodec_alloc_context3() | 分配解码器上下文 |
| avcodec_find_decoder() | 根据ID查找解码器 |
| avcodec_find_decoder_by_name() | 根据解码器名字查找 |
| avcodec_open2() | 打开编解码器 |
| avcodec_decode_video2() | 解码一帧视频数据 |
| avcodec_decode_audio4() | 解码一帧音频数据 |
| avcodec_send_packet() | 发送编码数据包 |
| avcodec_receive_frame() | 接收解码后数据 |
| avcodec_free_context() | 释放解码器上下文，包含了 avcodec_close() |
| avcodec_close() | 关闭解码器 |
解码格式流程图
FFmpeg数据结构之间的关系
AVPacket和AVFrame之间的关系：
AVPacket和AVFrame之间的关系
AVFormatContext, AVStream和AVCodecContext之间的关系：
FFmpeg数据结构之间的关系
AVPacket常用API
| 函数原型 | 说明 |
|---|---|
| AVPacket *av_packet_alloc(void) | 分配 AVPacket 这个时候和buffer没有关系 |
| void av_packet_free(AVPacket **pkt) | 释放AVPacket 和 _alloc对应 |
| void av_init_packet(AVPacket *pkt) | 初始化AVPacket 只是单纯初始化pkt字段 |
| int av_new_packet(AVPacket *pkt, int size) | 给AVPacket的buf分配内存，引用计数初始化为1 |
| int av_packet_ref(AVPacket *dst, const AVPacket *src) | 增加引用计数 |
| void av_packet_unref(AVPacket *pkt) | 减少引用计数 |
| void av_packet_move_ref(AVPacket *dst, AVPacket *src) | 转移引用计数 |
| AVPacket *av_packet_clone(const AVPacket *src) | 相当于深拷贝一份AVPacket数据 |
AVFrame常用API
| 函数原型 | 说明 |
|---|---|
| AVFrame *av_frame_alloc(void) | 分配AVFrame |
| void av_frame_free(AVFrame **frame) | 释放AVFrame |
| int av_frame_ref(AVFrame *dst, const AVFrame *src) | 增加引用计数 |
| void av_frame_unref(AVFrame *frame) | 减少引用计数 |
| void av_frame_move_ref(AVFrame *dst, AVFrame *src) | 转移引用计数 |
| int av_frame_get_buffer(AVFrame *frame, int align) | 根据AVFrame分配内存 |
| AVFrame *av_frame_clone(const AVFrame *src) | 相当于深拷贝一份AVFrame数据 |
