Android平台视频录制

录制方案

  1. Andriod系统API
    • MediaRecoder 压缩率低,录制高分辨率的视频体积过大
    • MediaCodec 采用硬编码,编码速度快
  2. ffmpeg+x264 软编码编译每一帧视频数据较慢

采用MediaCodec录制视频流程

  1. 音视频元数据采集
  2. 视频数据旋转、格式转换处理
  3. 音视频数据编码
  4. 音视频合成mp4
recorder.png

PCM:

PCM未经过任何编码和压缩处理的数字信号。

YUV:

YUV是一种颜色编码方法,Y:表示明亮度(Luminance或Luma),也就是灰度值;而 U 和 V :表示的则是色度(Chrominance或Chroma),作用是描述影像色彩及饱和度,用于指定像素的颜色。

基于三个分量在内存中的排列方式,YUV又分为多种不同的格式。Android视频录制时涉及如下四种格式:

名称 排列方式 说明
NV21 YYY…VUVU…. Y分量在前,VU分量交替排在后面
YUV420SP YYY…UVUV…. Y分量在前,UV分量交替排在后面
YV12 YYY…VV..UU.. Y分量在前,其次是V分量,其次是U分量
YUV420P YYY…UU..VV.. Y分量在前,其次是U分量,其次是V分量
遇到问题:Camera采集的YUV数据,跟编码器要求的YUV数据格式不一致
如何解决:

查询手机上的MediaCodec实现具体支持哪些YUV格式作为输入格式,在4.4+的系统上,这两种格式在大部分机器都有支持:
MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Planar
MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420SemiPlanar
两种格式分别是YUV420P和NV21,如果机器上只支持YUV420P格式的情况下,则需要先将摄像头输出的NV21格式先转换成YUV420P,才能送入编码器进行编码,否则最终出来的视频就会花屏,或者颜色出现错乱。

  1. NV21->YUV420sp
    • UV数据对调
    • YUV数据旋转
    • YUV数据缩放
  2. YV12->YUV420p

注:
1、MediaCodec是Android4.1新增API,MediaMuxer是Android4.3新增API

参考资料:

微信Android视频编码爬过的那些坑:
https://github.com/WeMobileDev/article/blob/master/%E5%BE%AE%E4%BF%A1Android%E8%A7%86%E9%A2%91%E7%BC%96%E7%A0%81%E7%88%AC%E8%BF%87%E7%9A%84%E9%82%A3%E4%BA%9B%E5%9D%91.md
YUV格式转换、旋转:
https://blog.csdn.net/jyt0551/article/details/53843464

最后编辑于 :
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

友情链接更多精彩内容