本文主要分享一下FFmpeg相关的知识点。
1.FFmpeg数据结构
- AVFormatContext
封装格式上下文结构体,统领全局的结构体,保存了视频文件封装格式相关信息。 - AVInputFormat
解封装格式结构体,例如FLV/MKV/MP4/AVI等等 - AVOutputFormat
封装格式结构体,和上面正好相反,一个是解封装,一个是封装 - AVIOContext
管理输入输出数据的结构体,其中AVIOContext结构体有void *opaque指针,指向URLContext,URLContext结构体持有URLProtocol - URLContext
存储音视频使用协议的类型以及请求状态 - URLProtocol
存储输入音视频的协议,例如file http https rtmp等 - AVStream
存储音视频中每个流信息的结构体 - AVCodecContext
编解码器上下文结构体,存储音频、视频流使用编解码器的相关数据 - AVCodec
对应每种音视频编解码器的结构体 - AVFrame
解码后的数据 - AVPacket
解码前的数据
2.FFmpeg编解码流程
2.1 播放器播放流程
- avformat_alloc_context
- 申请AVFormatContext结构体
- avformat_open_input 解析
- 解析文件协议,文件协议可以试file http https等协议
- 获取视频基本信息,AVFormatContext可以获取视频的基本信息,例如视频宽高、时长、DAR、SAR
- avformat_find_stream_info
- 请求文件数据,请求的控制阈值有两个:probesize、analyzeduration
- 探测视频中流信息,确定有几个AVStream
- 探测音频和视频的解码器
- av_find_best_stream
- 获取对应的音频和视频流信息以及音频视频的索引信息
- avcodec_alloc_context3
- 分配编解码器上下文
- avcodec_parameters_to_context
- 基于与数据流相关的编解码参数来填充编解码器上下文
- avcodec_find_decoder
- 查找对应已注册的编解码器
- avcodec_open2
- 打开编解码器
- av_read_frame
- 不停地从码流中提取压缩帧数据,获取的是一帧视频的压缩数据
- avcodec_send_packet
- 发送原生的压缩数据输入到解码器(compressed data)
- avcodec_receive_frame
- 接收解码器输出的解码数据
2.2 视频编码流程
- avformat_alloc_output_context2
- 初始化分配AVFormatContext,AVFormatContext里面的AVOutputFormat管理着封装视频的数据
- AddVideoStream/AddAudioStream
- avcodec_find_encoder 检索特定的编码器
- avformat_new_stream 创建音频或者视频流的AVStream
- avcodec_alloc_context3 分配AVCodecContext编码上下文数据
- avcodec_parameters_from_context 将编码数据拷贝到AVStream对象中
- 视频编码
- avcodec_open2 打开编码器
- avformat_write_header 写入视频文件的头部
- avcodec_send_frame 发送原始的视频数据AVFrame到编码器中
- avcodec_receive_packet 获取编码器编码成功的AVPacket数据包
- av_interleaved_write_frame 将AVPacket写入AVFormatContext
- av_write_trailer 写入视频文件的尾部
- 音频编码
- avcodec_open2 打开编码器
- avcodec_send_frame 发送原始的音频数据AVFrame到编码器中
- avcodec_receive_packet 获取编码器编码成功的AVPacket数据包
- av_interleaved_write_frame 将AVPacket写入AVFormatContext
- 记得写入音频和数据数据的时候做好音视频同步
3.PTS和DTS
- PTS:Presentation Time Stamp
- 显示时间戳,表示解码后显示的时间
- 这个帧什么时候会放在显示器上
- DTS:Decode Time Stamp
- 解码时间戳,表示送入解码器的顺序
- 就是说这个帧什么时候被放在编码器去解。 在没有B帧的情况下,DTS和PTS的输出顺序是一样的