1. FFmpeg介绍
- 用于录制、转换和流化音频和视频的完整解决方案， 包括 libavcodec ，
一套领先的音/视频编解码类库
2. FFmpeg结构
- libavcodec
一个包含了所有FFmpeg音视频编解码器的库。
2.libavformat
一个包含了所有的普通音视格式的解析器和 产生器的库。
3. 播放视频步骤
- 解封装
- 作用：将流媒体协议数据，解析未标准的响应的封装格式数据
- 解协议
- 作用：将输入的封装格式的数据，分离为音频流压缩编码数据和
视频流压缩编码数据
封装格式常用：MP4、mkv、rmvb、ts、flv、avi
- 解码视音频
- 作用：将视频/音频压缩编码数据，解码为非压缩的视频/音频原始数据
音频的压缩编码标准包含AAC，MP3，AC-3等等，
视频的压缩编码标准则包含H.264，MPEG2，VC-1等等
视频像素数据（YUV420P,RGB）常用YUV格式
- 视音频同步
- 作用：根据解封装模块处理过程中获取到的参数信息，同步解码处理的视频和音频数据
并将视频音频数据送至系统的显卡和声卡播放出来
4.格式
- MPEG2-TS格式
不包含文件头，数据大小固定（188Byte）的TS Packet构成
- FLV格式
包含文件头，数据由大小不固定的Tag构成
- H.264格式
数据由大小不固定的NALU构成
一个NALU存储了1帧画面的压缩编码后的数据
- H.264压缩方法
可以将图片数据压缩100倍意思
包含了帧内预测、帧间预测等
- YUV格式
因为人眼对亮度敏感而对色度不敏感，因而可以将亮度信息和色度信息分类，
并对色度信息采用更“狠”一点的压缩方案，从而提高压缩效率
Y只包含亮度信息
UV只包含色度信息
5. 解码流程
av_register_all() //注册所有组件
avformat_open_input(); //打开输入视频文件
avformat_find_stream_info(); //获取视频文件信息
avcodec_find_decoder(); //找到对应解码器
avcodec_open2(); //打开解码器
av_read_frame(); //读取一帧压缩数据
Get Packet 判断
avcodec_decode_video2() 解码一帧压缩数据 生成AVFrame
avcodec_close(); //关闭解码器
avformat_close_input(); //关闭输入视频文件
avformat_network_init(); //打开网络流
avformat_alloc_context()； //AVFormatContext的初始化函数
avformat_free_context()； //AVFormatContext的销毁函数
6. FFmpeg数据结构
- AVFormatContext 包含 AVIOContext、AVInputFormat、AVStream
AVStream[0] ----> AVCodecContext ---> AVCodec
AVStream[1] ----> AVCodecContext ---> AVCodec
AVFormatContext
封装格式上下文结构体，保存了视频文件封装格式相关信息
iformat //输入视频的AVInputFormat
nb_streams //输入视频的AVStram个数
streams //输入视频的AVStream数组
duration //输入视频的时长
bit_rate //输入视频的码率
AVInputFormat
每种封装格式对应一个该结构体
name //封装格式的名称
long_name
extensions 封装格式的扩展名
AVStream
视频文件中每个视频流对应一个该结构体
id //序号
codec //该流对应的AVCodecContext
time_base //该流的时基
r_frame_rate //该流的帧率
AVCodecContext
编码起上下文结构提，保存了视频编解码相关信息
codec //编解码器的AVCodec
width，height //图像的宽高
pix_fmt //像素格式
sample_rate //采样率
channals //声道数
sample_fmt //采样格式
AVCodec
每种视频编解码器对应一个该结构体
name //编解码器的名称
type //编解码器的类型
long_name
id //编解码器ID
AVPacket
存储已帧压缩编码数据
pts //显示时间戳
dts //解码时间戳
date //压缩编码数据
size //压缩编码数据大小
streams_index //所属的AVStream
AVFrame
存储已帧解码后像素数据
date //解码后的图片像素数据
linesize //对视频来说是图像中一行像素的大小
width，height
key_frame //是否未关键帧
pict_type //帧类型
