录制方案
- Andriod系统API
- MediaRecoder 压缩率低,录制高分辨率的视频体积过大
- MediaCodec 采用硬编码,编码速度快
- ffmpeg+x264 软编码编译每一帧视频数据较慢
采用MediaCodec录制视频流程
- 音视频元数据采集
- 视频数据旋转、格式转换处理
- 音视频数据编码
- 音视频合成mp4

PCM:
PCM未经过任何编码和压缩处理的数字信号。
YUV:
YUV是一种颜色编码方法,Y:表示明亮度(Luminance或Luma),也就是灰度值;而 U 和 V :表示的则是色度(Chrominance或Chroma),作用是描述影像色彩及饱和度,用于指定像素的颜色。
基于三个分量在内存中的排列方式,YUV又分为多种不同的格式。Android视频录制时涉及如下四种格式:
| 名称 | 排列方式 | 说明 |
|---|---|---|
| NV21 | YYY…VUVU…. | Y分量在前,VU分量交替排在后面 |
| YUV420SP | YYY…UVUV…. | Y分量在前,UV分量交替排在后面 |
| YV12 | YYY…VV..UU.. | Y分量在前,其次是V分量,其次是U分量 |
| YUV420P | YYY…UU..VV.. | Y分量在前,其次是U分量,其次是V分量 |
遇到问题:Camera采集的YUV数据,跟编码器要求的YUV数据格式不一致
如何解决:
查询手机上的MediaCodec实现具体支持哪些YUV格式作为输入格式,在4.4+的系统上,这两种格式在大部分机器都有支持:
MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Planar
MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420SemiPlanar
两种格式分别是YUV420P和NV21,如果机器上只支持YUV420P格式的情况下,则需要先将摄像头输出的NV21格式先转换成YUV420P,才能送入编码器进行编码,否则最终出来的视频就会花屏,或者颜色出现错乱。
- NV21->YUV420sp
- UV数据对调
- YUV数据旋转
- YUV数据缩放
- YV12->YUV420p
注:
1、MediaCodec是Android4.1新增API,MediaMuxer是Android4.3新增API
参考资料:
微信Android视频编码爬过的那些坑:
https://github.com/WeMobileDev/article/blob/master/%E5%BE%AE%E4%BF%A1Android%E8%A7%86%E9%A2%91%E7%BC%96%E7%A0%81%E7%88%AC%E8%BF%87%E7%9A%84%E9%82%A3%E4%BA%9B%E5%9D%91.md
YUV格式转换、旋转:
https://blog.csdn.net/jyt0551/article/details/53843464