H264 javacv 流格式解析

JavaCv grabber获得数据格式

下图展示了FFmpegFrameGrabber读取视频流的日志，从图中我们可以看到视频帧和语音帧是交错着的。

image

视频的帧率是25fps，因此每帧的时间间隔是33ms左右（图中是微秒需要除以1000）。但是声音帧比较奇怪，间隔是23ms左右，这是怎么回事呢？我们来分析一下，我们这个视频的音频采样率是44.1kHz，也就是每秒采样44100次。那么视频中的一个音频帧用多少次采样表示呢？答案是1024，不要问为什么，这就是规范，记住就行了。那么帧占多少时间呢？

$每帧的时间 = 1000 / （44100/1024）= 23.1ms$

也就是说每帧的时间等于1秒除以每秒帧数，而每秒帧数等于44100/1024。所以上图可以看到，每隔23.1毫秒一个音频帧。

那么，从上面的结论可以得出，一个音频帧应该占用多大的字节呢？刚才提到这个视频中音频的采样率是44.1khz，那么音频中每个采样值，代表什么呢？采样值代表某个声道的声音值（立体声一般包含左右声道），而这个文件的音频每个声道的采样值使用16位来表示（2字节，刚好一个short短整型）。因此，我们可以算出一个音频帧占用的字节数，如下：

$一个音频帧字节数 = 1024 * 2（16位等于2字节） * 2(通道) = 4096字节$