简介

FLV（Flash Video）是现在非常流行的流媒体格式，由于其视频文件体积轻巧、封装播放简单等特点，使其很适合在网络上进行应用，目前主流的视频网站无一例外地使用了FLV格式。另外由于当前浏览器与Flash Player紧密的结合，使得网页播放FLV视频轻而易举，也是FLV流行的原因之一。

FLV是流媒体封装格式，我们可以将其数据看为二进制字节流。总体上看，FLV包括文件头（File Header）和文件体（File Body）两部分，其中文件体由一系列的Tag及Tag Size对组成。

flv.jpg

FLV格式解析

先来一张图，这是《东风破》——周杰伦（下载）的一个MV视频。我使用的是Binary Viewer的二进制查看工具。

1.png

C:\Users\li\Downloads>ffprobe -show_format dongfengpo.flv
ffprobe version 4.4-full_build-www.gyan.dev Copyright (c) 2007-2021 the FFmpeg developers
  built with gcc 10.2.0 (Rev6, Built by MSYS2 project)
  configuration: --enable-gpl --enable-version3 --enable-static --disable-w32threads --disable-autodetect --enable-fontconfig --enable-iconv --enable-gnutls --enable-libxml2 --enable-gmp --enable-lzma --enable-libsnappy --enable-zlib --enable-librist --enable-libsrt --enable-libssh --enable-libzmq --enable-avisynth --enable-libbluray --enable-libcaca --enable-sdl2 --enable-libdav1d --enable-libzvbi --enable-librav1e --enable-libsvtav1 --enable-libwebp --enable-libx264 --enable-libx265 --enable-libxvid --enable-libaom --enable-libopenjpeg --enable-libvpx --enable-libass --enable-frei0r --enable-libfreetype --enable-libfribidi --enable-libvidstab --enable-libvmaf --enable-libzimg --enable-amf --enable-cuda-llvm --enable-cuvid --enable-ffnvcodec --enable-nvdec --enable-nvenc --enable-d3d11va --enable-dxva2 --enable-libmfx --enable-libglslang --enable-vulkan --enable-opencl --enable-libcdio --enable-libgme --enable-libmodplug --enable-libopenmpt --enable-libopencore-amrwb --enable-libmp3lame --enable-libshine --enable-libtheora --enable-libtwolame --enable-libvo-amrwbenc --enable-libilbc --enable-libgsm --enable-libopencore-amrnb --enable-libopus --enable-libspeex --enable-libvorbis --enable-ladspa --enable-libbs2b --enable-libflite --enable-libmysofa --enable-librubberband --enable-libsoxr --enable-chromaprint
  libavutil      56. 70.100 / 56. 70.100
  libavcodec     58.134.100 / 58.134.100
  libavformat    58. 76.100 / 58. 76.100
  libavdevice    58. 13.100 / 58. 13.100
  libavfilter     7.110.100 /  7.110.100
  libswscale      5.  9.100 /  5.  9.100
  libswresample   3.  9.100 /  3.  9.100
  libpostproc    55.  9.100 / 55.  9.100
Input #0, flv, from 'dongfengpo.flv':
  Metadata:
    encoder         : Lavf57.41.100
  Duration: 00:05:14.47, start: 0.000000, bitrate: 431 kb/s
  Stream #0:0: Video: h264 (High), yuv420p(progressive), 352x240 [SAR 3675:3674 DAR 245:167], 283 kb/s, 29.97 fps, 29.97 tbr, 1k tbn, 59.94 tbc
  Stream #0:1: Audio: aac (LC), 44100 Hz, stereo, fltp, 128 kb/s
[FORMAT]
filename=dongfengpo.flv
nb_streams=2
nb_programs=0
format_name=flv
format_long_name=FLV (Flash Video)
start_time=0.000000
duration=314.470000
size=16954257
bit_rate=431310
probe_score=100
TAG:encoder=Lavf57.41.100
[/FORMAT]

header

头部分由一下几部分组成
Signature(3 Byte)+Version(1 Byte)+Flags(1 Bypte)+DataOffset(4 Byte)

• signature 占3个字节
  固定FLV三个字符作为标示。一般发现前三个字符为FLV时就认为他是flv文件。
• Version 占1个字节
  标示FLV的版本号。这里我们看到是1
• Flags 占1个字节
  内容标示。第0位和第2位,分别表示 video 与 audio 存在的情况.(1表示存在,0表示不存在)。截图看到是0x05，也就是00000101，代表既有视频，也有音频。
• DataOffset 4个字节
  表示FLV的header长度。这里可以看到固定是9

body

FLV的body部分是由一系列的back-pointers + tag构成

• back-pointers 固定4个字节，表示前一个tag的size。
• tag 分三种类型，video、audio、scripts。

tag组成

tag type+tag data size+Timestamp+TimestampExtended+stream id+ tag data

• type 1个字节。8为Audio,9为Video,18为scripts
• tag data size 3个字节。表示tag data的长度。从streamd id 后算起。
• Timestreamp 3个字节。时间戳
• TimestampExtended 1个字节。时间戳扩展字段
• stream id 3个字节。总是0
• tag data 数据部分

我们根据实例来分析：
看到第一个TAG
type=0x12=18。这里应该是一个scripts。
size=0x000125=293。长度为293。
timestreamp=0x000000。这里是scripts，所以为0
TimestampExtended =0x00。
stream id =0x000000
我们看一下TAG的data部分：

3.png

tag的划分

图中红色部分是我标出的两个back-pointers，都是4个字节。而中间就是第一个TAG。那是怎么计算的呢？我们就以这个做个示例。

• 首先第一个back-pointers是0x00000000，那是因为后面是第一个TAG。所以他为0。
• 然后根据我们我们前面格式获取到size是0x000125。也就是说从stream id后面再加上293个字节就到了第一个TAG的末尾，我们数一下一下。stream id以前总共有24个字节（9+4+11）。那么到第一个TAG结束，下一个TAG开始的位置是293+24=137=0x13D。
• 接下来我们找到0x13D的地址，从工具上很容易找到，正好就是红色下划线的前面。红色部分是0x00000130=304，这代表的是上一个TAG的大小。
• 最后我们计算一下，上一个TAG数据部分是293个字节，前面type、stream id等字段占了11个字节。正好是匹配的。

上面我们已经知道了怎么取划分每个TAG。接下来我们就看TAG的具体内容

tag的内容

前面已经提到tag分3种。我们一个个看

script

脚本Tag一般只有一个，是flv的第一个Tag，用于存放flv的信息，比如duration、audiodatarate、creator、width等。
首先介绍下脚本的数据类型。所有数据都是以数据类型+（数据长度）+数据的格式出现的，数据类型占1byte，数据长度看数据类型是否存在，后面才是数据。
一般来说，该Tag Data结构包含两个AMF包。AMF（Action Message Format）是Adobe设计的一种通用数据封装格式，在Adobe的很多产品中应用，简单来说，AMF将不同类型的数据用统一的格式来描述。第一个AMF包封装字符串类型数据，用来装入一个“onMetaData”标志，这个标志与Adobe的一些API调用有，在此不细述。第二个AMF包封装一个数组类型，这个数组中包含了音视频信息项的名称和值。具体说明如下，大家可以参照图片上的数据进行理解。

4.png

上图为第一个AMF包

• type=0x02对应String
• size=0A=10

• value=onMetaData 正好是10个字节。

  
  
  5.png
  
  

  上图为第二个AMF

• type=0x08 对应ECMA array type。

表示数组，类似Map。后面4个字节为数组的个数。然后是键值对，第一个为键，2个字节为长度。后面跟具体的内容。接着1个字节表示值的类型，然后根据类型判断长度。
上图我们可以判断，总共有13个键值对。

• 第一个长度为8个字节是duration。值类型是0x004073，第一个字节是00，所以是double，8个字节4073A7851EB851EC，通过计算Double.longBitsToDouble(0x4073A7851EB851ECL)得到314.47与视频信息里一致 00:05:14.47。
• 第二个长度5个字节是width。值也是double类型，8个字节。
  依次解析下去...

到处，我们已经知道了如何解析FLV中Tag为script的数据。

video

6.png

视频信息，1个字节。

前4位为帧类型Frame Type

后4位为编码ID (CodecID)

特殊情况

视频的格式(CodecID)是AVC（H.264）的话，VideoTagHeader会多出4个字节的信息，AVCPacketType 和CompositionTime。

• AVCPacketType 占1个字节

AVCDecoderConfigurationRecord.包含着是H.264解码相关比较重要的sps和pps信息，再给AVC解码器送数据流之前一定要把sps和pps信息送出，否则的话解码器不能正常解码。而且在解码器stop之后再次start之前，如seek、快进快退状态切换等，都需要重新送一遍sps和pps的信息.AVCDecoderConfigurationRecord在FLV文件中一般情况也是出现1次，也就是第一个video tag.

• CompositionTime 占3个字节

我们看第一个video tag，也就是前面那张图。我们看到AVCPacketType =0。而后面三个字节也是0。说明这个tag记录的是AVCDecoderConfigurationRecord。包含sps和pps数据。
再看到第二个video tag

8.png

解析到的数据完全符合上面的理论。

sps pps

前面我们提到第一个video 一般存放的是sps和pps。这里我们具体解析下sps和pps内容。先看下存储的格式（图6）：
0x01+sps[1]+sps[2]+sps[3]+0xFF+0xE1+sps size+sps+01+pps size+pps
我们看到图 。
sps[1]=0x64
sps[2]=00
sps[3]=0D
sps size=0x001B=27
跳过27个字节后，是0x01
pps size=0x0005=5
跳过5个字节，就到了back-pointers。

视频帧数据

解析出sps和pps tag后，后面的video tag就是真正的视频数据内容了

9.png

Audio

与视频格式类似

AACAUDIODATA

AudioSpecificConfig

我们看到第三个TAG

7.png

这个留给大家自己来解析吧。
从AF=1010 1111

• SoundFormat = 1010 = AAC编码

• SoundRate = 11 = 44-kHz

• SoundSize = 1 = snd16Bit

• SoundType = 1 = sndStereo 双声道

• AACAUDIODATA
  AACPacketType = 00 = AAC sequence header

• AudioSpecificConfig
  AudioObjectType = 00010 = 2
  SamplingFrequencyIndex = 0100 = 4
  ChannelConfiguration = 0010

audio.png

最后，我们使用工具来看我们的实例文件和我们自己解析的是否一致

summary.png