1.背景
行业监管要求,需要对保险销售过程关键环节进行录音录像,所以我们要做一个app可以进行音视频录制,并上传录制的视频文件,同时录制过程中自动播报语音以及语音识别,功能看起来并不复杂,但是涉及到音视频这种功能并不好做,尤其android兼容性问题,加上之前没有相关的经验,可能很多问题考虑并不全面,整个1个多月的研发过程下来还是发现不少坑,简单复盘留作纪念。
2.功能规划
- 核心业务功能
- 音视频录制功能
- 音视频文件上传功能
- 语音播报功能:录制过程中,有大量的文字原来是需要业务员读给客户听,为了减轻业务员的负担,需要实现系统自动播报,系统会根据每一个保单实际数据生成对应的话术,在录制过程中进行语音播报。
- 语音识别:录制过程中,部分话术播报后需要客户回答“同意”,“确认”等词,系统对客户回答的文字进行语音识别。
- 技术点
- Android 音视频录制:一期采用的MediaRecorder,二期采用的MediaCodec+MediaMuxer。
- IOS音视频录制:AVCapture+AVAssetWriter
- 语音播报技术:基于腾讯云的语音合成功能,每一段话术在播报的时候会调用腾讯云的语音合成,将文字转换成语音音频文件,本地在进行播放。
- 语音识别技术:基于腾讯云的语音识别,客户回答时,会实时的采集音频数据,将音频数据发给腾讯云语音识别服务,返回识别后的文本。
像语音合成和语音识别这种关键的技术都是基于外部平台,音视频录制功能是用的系统的API,看起来很容易是不是?这里面的坑谁做谁知道。
3.基础概念
- 帧率:帧率(Frame rate)是称为帧的位图图像连续出现在显示器上的频率(速率),在我们这简单的理解,就是视频录制每一秒录制了多少副画面。
- 码率:码率就是数据传输时单位时间传送的数据位数,一般我们用的单位是kbps即千位每秒,比如我们一期上线设置的码率是2kbps,那么文件大小怎么计算呢?
2000/8=250 KB 每秒,半个小时视频长度为:2506030=450M
所以评估录制一个视频文件的大小,关键就是看这个参数。 - 分辨率:指视频成像产品所形成的图像大小或尺寸,比如我们系统设置的720p,1280*720,分辨率本质上跟清晰度无关,我们可以想一下,如果同样的码率,也就是说假设每一秒的数据量是一样的,那生成一副大图清晰还是小图清晰?
- 清晰度:
在码率一定的情况下,分辨率与清晰度成反比关系:分辨率越高,图像越不清晰,分辨率越低,图像越清晰。
在分辨率一定的情况下,码率与清晰度成正比关系,码率越高,图像越清晰;码率越低,图像越不清晰。
综上几个问题: - 帧率越高越好么?
帧率越高,意味着每一秒的画面越多,同样的码率,则分给每一副画面的数据量就越小,清晰度则会降低,比如上面提到的2000kbps,每一秒才
250k,假设帧率30,一秒有30副画面,想想平均一副画面才多少k? 8k多?是不是不太可能?所以这就是编码算法的厉害之处了,我简单的理解就是一副画面可以做压缩,因为有很多像素点是一样的,另外相邻的画面重复的也可以进行压缩,因为一秒整个画面变动的非常少,所以这30 副画面差异内容也很少,压缩空间还是很大的,这里在深入点可以去了解I帧,P帧,B帧 - 码率越高越好么?
从上面可以看出文件大小跟码率成正比,文件越大用户上传以及我们自己存储、后面的质检等都需要增加代价,所以我们需要在码率和视频清晰度中间找一个平衡,但是也不存在说又要绝对的清晰,又不想文件变大,哪有这样的好事,别想了。
4.具体问题
- 谷歌浏览器播放视频加载失败的问题
现象:一期快要开发完了的时候,给领导演示,用的苹果手机,录制视频很顺利,本地播放正常,上传到云端后,用谷歌浏览器加载失败,但是用手机浏览器打开链接播放正常。
原因:查了一些资料,安装了ffmpeg用来分析视频,如下图一是在chrome可以正常播放的视频,图二是不能播放的,主要差别就是视频文件编码格式H.264和H.265,H265格式是H264的升级版,压缩算法更好,据说可以节省50%带宽,但是兼容性还不够好,不同浏览器支持的视频格式,编码格式也不一样,pc上不能播放但是手机上可以播放,我猜测是解码器差异的原因,我演示的那个版本当时一行设置编码H264代码注释掉了,iOS 系统默认采用了H265编码,导致上传后的视频无法播放。
这篇文章有提到一些两种编码的差别以及兼容性的情况
https://juejin.im/post/5bf7697251882521c8114030#heading-10 - oppo R9开启录制失败
- 现象:
手上有华为、小米、oppo等几款手机,当时只有oppo这一款手机开启录制就失败。
一些错误日志:
E/ACodec: signalError(omxError 0x80001001, internalError -2147483648)
E/MediaCodec: Codec reported err 0x80001001, actionCode 0, while in state 3
E/MediaCodec: configure failed with err 0x80001001, resetting...
android.media.MediaCodec$CodecException: Error 0x80001001
at android.media.MediaCodec.native_configure(Native Method)
at android.media.MediaCodec.configure(MediaCodec.java:590)
- 原因:
查看异常代码如下
//创建编码器
mVideoEncoder = MediaCodec.createEncoderByType(MIME_TYPE_AVC);
//报错代码就是这行,是编码器configure报错
mVideoEncoder.configure(videoFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);
经过网站一些资料的查找,原来是不同的手机支持的颜色格式不一样,这款oppo手机不支持COLOR_FormatYUV420SemiPlanar,需要设置成COLOR_FormatYUV420Planar
// 指定编码器颜色格式
videoFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420SemiPlanar
既然不同的手机支持的KEY_COLOR_FORMAT 不一样,这里就需要动态的考虑先获取到手机可支持的颜色格式值,在进行设置,如下代码也是参考网上的资料。
private int getSupportColorFormat() {
int numCodecs = MediaCodecList.getCodecCount();
MediaCodecInfo codecInfo = null;
for (int i = 0; i < numCodecs && codecInfo == null; i++) {
MediaCodecInfo info = MediaCodecList.getCodecInfoAt(i);
if (!info.isEncoder()) {
continue;
}
String[] types = info.getSupportedTypes();
boolean found = false;
for (int j = 0; j < types.length && !found; j++) {
if (types[j].equals("video/avc")) {
Log.d(TAG, "found");
found = true;
}
}
if (!found)
continue;
codecInfo = info;
}
Log.e("AvcEncoder", "Found " + codecInfo.getName() + " supporting " + "video/avc");
// Find a color profile that the codec supports
MediaCodecInfo.CodecCapabilities capabilities = codecInfo.getCapabilitiesForType("video/avc");
Log.e("AvcEncoder",
"length-" + capabilities.colorFormats.length + "==" + Arrays.toString(capabilities.colorFormats));
for (int i = 0; i < capabilities.colorFormats.length; i++) {
Log.d(TAG, "MediaCodecInfo COLOR FORMAT :" + capabilities.colorFormats[i]);
if ((capabilities.colorFormats[i] == MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420SemiPlanar) || (capabilities.colorFormats[i] == MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Planar)) {
return capabilities.colorFormats[i];
}
}
return MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Flexible;
}
- oppo R9 录制的视频是黑白的
原因:
这个问题跟上一个问题是有关联的,出现黑白视频或者录出来视频画面的颜色与真实情况不一致,一般来说跟yuv的转换有关系,上面提到我们设置编码器颜色格式color format有两种,COLOR_FormatYUV420SemiPlanar 和COLOR_FormatYUV420Planar,我们在摄像头预览格式设置的nv21,所以在进行编码的时候,先要对yuv进行转换,一旦转换不对,最终生成的视频可能就是黑白或完全无法播放。
parameters.setPreviewFormat(ImageFormat.NV21);
常见YUV格式和Android中的COLOR_FormatYUV420对应关系
https://blog.csdn.net/qq_34557284/article/details/90902363
不同的color format对应不同的转换方式,这里使用了谷歌的Libyuv工具包进行转换,该方法是native方法,据别人测算性能相比自己java写的转换会好很多。 if(colorFormat==MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420SemiPlanar){
// MediaCodecInfo color format 为 COLOR_FormatYUV420SemiPlanar 时,需要把nv21数据 转为 nv12
LibyuvUtil.convertNV21ToI420(nv21, yuvI420, mCameraHelp.getWidth(), mCameraHelp.getHeight());
//不压缩,前置也不进行镜像,因为镜像后证件显示会是反的
//LibyuvUtil.compressI420(yuvI420, videoWidth, videoHeight, tempYuvI420, videoWidth, videoHeight, rotation, isFrontCamera);
LibyuvUtil.convertI420ToNV12(yuvI420, toEncodeDate, mCameraHelp.getWidth(), mCameraHelp.getHeight());
}else {
// MediaCodecInfo color format 为 COLOR_FormatYUV420Planar 时,需要把nv21数据 转为 YUVI420
LibyuvUtil.convertNV21ToI420(nv21,toEncodeDate,mCameraHelp.getWidth(), mCameraHelp.getHeight());
//不压缩,前置也不进行镜像,因为镜像后证件显示会是反的
// LibyuvUtil.compressI420(yuvI420, videoWidth, videoHeight, toEncodeDate, videoWidth, videoHeight, rotation, isFrontCamera);
}
4.华为p9语音播报问题
现象:我用华为p9测试录制的时候,发现每次录制到第十一段左右的时候就没声音了,错误日志:mediaplay error(1,-19)
原因:这个问题一开始挺困扰的,因为同一份代码,我手上几个手机只有华为p9有这个问题,不过有同事也有其它手机有问题,有些手机是在第二次录制的时候才有这个问题,很奇怪,如果是资源没释放,为什么有的手机正常?而且用工具分析录制过程中内存的变化,没有发现明显的异常,对我们自己的代码也review了几遍,也调试了几遍,直到后面搜索问题看到这篇文章https://blog.csdn.net/jakera/article/details/85081280,里面提到的dumpsys media.audio_flinger 这个命令很有用,通过这个命令查看数据,发现每次点下一步新增了一个服务,如下面截图 client type就是我们应用的进程号,从截图可以知道存在很多个不活跃的服务,我猜测这个服务是有限制的,达到一定数量后不可在创建,所以这也是为什么一般十来次后就出问题
到这里结合博客提到的内容基本也就定位到了问题代码,其实不是我们自己代码问题,是用的腾讯sdk里面播报音频服务停止的时候没有正常的释放资源,看下反编译后的代码也验证了猜想,如下:
// 有问题的代码
if (this.mediaPlayer != null) {
this.mediaPlayer.stop();
}
//改之后的代码
if (this.mediaPlayer != null) {
this.mediaPlayer.stop();
this.mediaPlayer.release();
}
this.mediaPlayer = null;
基本确认是腾讯云sdk问题后,给他们提了一个工单,附上了我查到的几篇文章,然后回家不久就收到了他们客服电话,希望我在他们demo上去还原问题,我估计他们是不太相信我的话,其实知道了原因要还原就很简单了,第二天在他们demo上运行,直接连续语音播报十几次一样复现问题,提供相关的截图和错误信息给他们,后面因为考虑到当天已经是我们发布日期,怕他们无法及时更新sdk,所以只好反编译他们的代码,覆盖跟这个问题有关的三个类,重新运行,一切正常,不过为什么有些手机可以,有些不行,系统版本问题?还是厂商改的?没有继续去深究。
下面几个链接是关于这个问题我找到的其它一些参考资料
MediaPlayer源码存在的内存泄漏问题,释放资源的正确方式
https://blog.csdn.net/sdfdzx/article/details/60144834
记一个华为手机上声音突然消失不见的bug
http://bearcoder.codes/blog/2018/05/17/bugji-lu/
待写。。。
5.ios视频模糊的问题
6.为什么Android一期用MediaRecorder,二期改了整个录制方式呢?
4.总结
整体来说,要把音视频跑通并不是难事,但是要做稳定,兼容性要做好不容易,包括用的第三方的sdk,即使腾讯云提供的sdk在这一个多月时间里,被我们发现的bug都有四五处,还一些非常隐蔽的问题,不过处理问题响应速度还是很不错的,至于我们自己需要学习和深挖的点就太多了,几个待研究的方向:
- 人脸检测
- OCR
- 声音降噪,提高录制的声音质量
- 清晰度分析