音视频知识点（四）

本文主要分享一下FFmpeg相关的知识点。

1.FFmpeg数据结构

AVFormatContext
封装格式上下文结构体，统领全局的结构体，保存了视频文件封装格式相关信息。
AVInputFormat
解封装格式结构体，例如FLV/MKV/MP4/AVI等等
AVOutputFormat
封装格式结构体，和上面正好相反，一个是解封装，一个是封装
AVIOContext
管理输入输出数据的结构体，其中AVIOContext结构体有void *opaque指针，指向URLContext，URLContext结构体持有URLProtocol
URLContext
存储音视频使用协议的类型以及请求状态
URLProtocol
存储输入音视频的协议，例如file http https rtmp等
AVStream
存储音视频中每个流信息的结构体
AVCodecContext
编解码器上下文结构体，存储音频、视频流使用编解码器的相关数据
AVCodec
对应每种音视频编解码器的结构体
AVFrame
解码后的数据
AVPacket
解码前的数据

avformat_alloc_context
- 申请AVFormatContext结构体
avformat_open_input 解析
- 解析文件协议，文件协议可以试file http https等协议
- 获取视频基本信息，AVFormatContext可以获取视频的基本信息，例如视频宽高、时长、DAR、SAR
avformat_find_stream_info
- 请求文件数据，请求的控制阈值有两个：probesize、analyzeduration
- 探测视频中流信息，确定有几个AVStream
- 探测音频和视频的解码器
av_find_best_stream
- 获取对应的音频和视频流信息以及音频视频的索引信息
avcodec_alloc_context3
- 分配编解码器上下文
avcodec_parameters_to_context
- 基于与数据流相关的编解码参数来填充编解码器上下文
avcodec_find_decoder
- 查找对应已注册的编解码器
avcodec_open2
- 打开编解码器
av_read_frame
- 不停地从码流中提取压缩帧数据，获取的是一帧视频的压缩数据
avcodec_send_packet
- 发送原生的压缩数据输入到解码器（compressed data）
avcodec_receive_frame
- 接收解码器输出的解码数据

avformat_alloc_output_context2
- 初始化分配AVFormatContext，AVFormatContext里面的AVOutputFormat管理着封装视频的数据
AddVideoStream/AddAudioStream
- avcodec_find_encoder 检索特定的编码器
- avformat_new_stream 创建音频或者视频流的AVStream
- avcodec_alloc_context3 分配AVCodecContext编码上下文数据
- avcodec_parameters_from_context 将编码数据拷贝到AVStream对象中
视频编码
- avcodec_open2 打开编码器
- avformat_write_header 写入视频文件的头部
- avcodec_send_frame 发送原始的视频数据AVFrame到编码器中
- avcodec_receive_packet 获取编码器编码成功的AVPacket数据包
- av_interleaved_write_frame 将AVPacket写入AVFormatContext
- av_write_trailer 写入视频文件的尾部
音频编码
- avcodec_open2 打开编码器
- avcodec_send_frame 发送原始的音频数据AVFrame到编码器中
- avcodec_receive_packet 获取编码器编码成功的AVPacket数据包
- av_interleaved_write_frame 将AVPacket写入AVFormatContext
记得写入音频和数据数据的时候做好音视频同步

PTS：Presentation Time Stamp
- 显示时间戳，表示解码后显示的时间
- 这个帧什么时候会放在显示器上
DTS：Decode Time Stamp
- 解码时间戳，表示送入解码器的顺序
- 就是说这个帧什么时候被放在编码器去解。在没有B帧的情况下，DTS和PTS的输出顺序是一样的