1. mp4 Box

使用mp4info工具查看mp4文件的格式，如下图：

• mp4文件是由box组成。有两类box，leaf box和container box。container box可以包含子box，而leaf box不能。有了container box，mp4文件的信息就可以分层次组成树形结构了。container box的例子如moov，trak等，leaf box的例子如ftyp，mvhd等。
• 所有的box都有两个属性：大小和类型。类型是一个刚好为长度为4字节的字符组，前面提到的”moov”, “trak”, “ftyp”就是类型。
• 各个box的内容已经列在上图中了，值得再提的是：
  • ftyp用于确定这是一个mp4文件，mp4 demuxer用于解析它。
  • stsd保存sample类型信息。它的数据格式字段用来确定decoder。
  • H.264解码前必须先确定一些解码参数，如SPS, PPS。这些参数保存在stsd下的avcC中。
• Sample是成组保存在chunk中的，stsc保存了chunk与sample的对应关系。另外，stco保存了chunk在文件中的偏移位置（实际上在mdat box中），stsz保存了sample的大小。结合这三者就可以找到任意一个sample的位置了。
• Stts按顺序保存了sample的duration，有了它可以找到对应某个时间点的sample。
• 在调整播放位置时，必须从关键帧开始解码。stss保存了关键帧的sample。
• mdat保存了真正的数据，stco中chunk的偏移位置就指向这里。

2. demuxer

• demux中在read_thread()中进行。由avformat_open_input()负责。
• init_input()负责找到与文件对应的demuxer。mp4 demuxer的检查标准为：文件包括ftyp box，并且它的major_brand字段是mp4格式之一。
• 确定demuxer后，调用它的read_header()函数做demux。对于mp4 demuxer是mov_read_header()。
• mov_read_header()遍历前面图中的box树，找出stream的信息。这是一个stream列表，但这里的文件只包含一个stream。
• 全局表mov_default_parse_table[]保存了从box类型到其解析函数的映射。leaf box有自己特殊的解析函数，所有的container box都映射到mov_read_default()。
• mov_read_header()迭代调用mov_read_default()，以遍历box树，得到stream信息。但它不读取sample的真正数据，这要等到decode时才需要。

3. decoder

在avformat_find_stream_info()中，decode一个frame以得到更多信息。

• 调用find_probe_decoder()确定decoder。
• 调用avcodec_open2()和h264_decode_init()，初始化decoder。
• 调用read_frame_internal()读取下一个packet。这会调用demuxer的read_packet()，对mp4 demuxer实际上是mov_read_packet()。这时会从文件的mdat box读取sample真正的数据。
• 得到packet后，调用try_decode_frame()来解码。
  • 在avcodec_send_packet()中，av_bsf_send_packet()将packet送入第一个内部结构AVBSFContext.AVBSFInternal.buffer_packet（AvCodecContext的一部分）保存。decode_recieve_frame_internal()先调用ff_decode_get_packet()从第一个结构buffer_packet中取出packet，然后调用h264_decode_frame()解码，解码后的frame保存在第二个内部结构AVCodecContext.AVCodecInternal.buffer_frame中。
  • 在avcodec_receive_frame()中，av_frame_mov_ref()从第二个结构buffer_frame中取出frame返回。如果没有解码好的frame，会先调用decode_receive_frame_internal()解码。

4. demux 和 decode

• 首先read_thread调用stream_component_open()，启动新的video_thread。从此进入工作状态。下面的几个关键函数在前面已经出现过了。
• read_thread
  • av_read_frame()中，调用read_from_packet_buffer()读packet。如果没有，则先调用read_frame_internal()预读。
  • packet_queue_put()将packet写入packet queue。
• video_thread
  • decoder_decode_frame()先调用packet_queue_get()从packet queue取出packet。
  • 再调用avcodec_send_packet()和avcodec_receive_frame()解码得到frame。
  • 调用queue_picture将Frame放入frame queue。

相关链接

FFMPEG 3.4.2 - ffmpeg源代码分析 （一）
FFMPEG 3.4.2 - ffmpeg源代码分析 （二）
FFMPEG 3.4.2 - ffmpeg源代码分析 （三）
FFMPEG 3.4.2 - ffmpeg源代码分析 （四）- x264
FFMPEG 3.4.2 - ffplay源代码分析 （一）
FFMPEG 3.4.2 - ffplay源代码分析 （二）
FFMPEG 3.4.2 - ffplay源代码分析 （三）

参考资料

mp4文件格式解析
http://www.360doc.com/content/13/0130/09/6979751_263177149.shtml
http://www.360doc.com/content/13/0130/09/6979751_263177149.shtml

mp4文件格式系列
http://www.52rd.com/Blog/wqyuwss/559/

H.264 码流结构解析
http://blog.csdn.net/zqj6893/article/details/17591413

H264—MP4格式及在MP4文件中提取H264的SPS、PPS及码流
http://www.cnblogs.com/skyseraph/archive/2012/04/01/2429384.html