双录系统趟坑总结

1.背景

行业监管要求,需要对保险销售过程关键环节进行录音录像,所以我们要做一个app可以进行音视频录制,并上传录制的视频文件,同时录制过程中自动播报语音以及语音识别,功能看起来并不复杂,但是涉及到音视频这种功能并不好做,尤其android兼容性问题,加上之前没有相关的经验,可能很多问题考虑并不全面,整个1个多月的研发过程下来还是发现不少坑,简单复盘留作纪念。

2.功能规划

  1. 核心业务功能
  • 音视频录制功能
  • 音视频文件上传功能
  • 语音播报功能:录制过程中,有大量的文字原来是需要业务员读给客户听,为了减轻业务员的负担,需要实现系统自动播报,系统会根据每一个保单实际数据生成对应的话术,在录制过程中进行语音播报。
  • 语音识别:录制过程中,部分话术播报后需要客户回答“同意”,“确认”等词,系统对客户回答的文字进行语音识别。
  1. 技术点
  • Android 音视频录制:一期采用的MediaRecorder,二期采用的MediaCodec+MediaMuxer。
  • IOS音视频录制:AVCapture+AVAssetWriter
  • 语音播报技术:基于腾讯云的语音合成功能,每一段话术在播报的时候会调用腾讯云的语音合成,将文字转换成语音音频文件,本地在进行播放。
  • 语音识别技术:基于腾讯云的语音识别,客户回答时,会实时的采集音频数据,将音频数据发给腾讯云语音识别服务,返回识别后的文本。
    像语音合成和语音识别这种关键的技术都是基于外部平台,音视频录制功能是用的系统的API,看起来很容易是不是?这里面的坑谁做谁知道。

3.基础概念

  • 帧率:帧率(Frame rate)是称为帧的位图图像连续出现在显示器上的频率(速率),在我们这简单的理解,就是视频录制每一秒录制了多少副画面。
  • 码率:码率就是数据传输时单位时间传送的数据位数,一般我们用的单位是kbps即千位每秒,比如我们一期上线设置的码率是2kbps,那么文件大小怎么计算呢?
    2000/8=250 KB 每秒,半个小时视频长度为:2506030=450M
    所以评估录制一个视频文件的大小,关键就是看这个参数。
  • 分辨率:指视频成像产品所形成的图像大小或尺寸,比如我们系统设置的720p,1280*720,分辨率本质上跟清晰度无关,我们可以想一下,如果同样的码率,也就是说假设每一秒的数据量是一样的,那生成一副大图清晰还是小图清晰?
  • 清晰度:
    在码率一定的情况下,分辨率与清晰度成反比关系:分辨率越高,图像越不清晰,分辨率越低,图像越清晰。
    在分辨率一定的情况下,码率与清晰度成正比关系,码率越高,图像越清晰;码率越低,图像越不清晰。
    综上几个问题:
  • 帧率越高越好么?
    帧率越高,意味着每一秒的画面越多,同样的码率,则分给每一副画面的数据量就越小,清晰度则会降低,比如上面提到的2000kbps,每一秒才
    250k,假设帧率30,一秒有30副画面,想想平均一副画面才多少k? 8k多?是不是不太可能?所以这就是编码算法的厉害之处了,我简单的理解就是一副画面可以做压缩,因为有很多像素点是一样的,另外相邻的画面重复的也可以进行压缩,因为一秒整个画面变动的非常少,所以这30 副画面差异内容也很少,压缩空间还是很大的,这里在深入点可以去了解I帧,P帧,B帧
  • 码率越高越好么?
    从上面可以看出文件大小跟码率成正比,文件越大用户上传以及我们自己存储、后面的质检等都需要增加代价,所以我们需要在码率和视频清晰度中间找一个平衡,但是也不存在说又要绝对的清晰,又不想文件变大,哪有这样的好事,别想了。

4.具体问题

  1. 谷歌浏览器播放视频加载失败的问题
    现象:一期快要开发完了的时候,给领导演示,用的苹果手机,录制视频很顺利,本地播放正常,上传到云端后,用谷歌浏览器加载失败,但是用手机浏览器打开链接播放正常。
    原因:查了一些资料,安装了ffmpeg用来分析视频,如下图一是在chrome可以正常播放的视频,图二是不能播放的,主要差别就是视频文件编码格式H.264和H.265,H265格式是H264的升级版,压缩算法更好,据说可以节省50%带宽,但是兼容性还不够好,不同浏览器支持的视频格式,编码格式也不一样,pc上不能播放但是手机上可以播放,我猜测是解码器差异的原因,我演示的那个版本当时一行设置编码H264代码注释掉了,iOS 系统默认采用了H265编码,导致上传后的视频无法播放。
    h264.png

    h265.png

    这篇文章有提到一些两种编码的差别以及兼容性的情况
    https://juejin.im/post/5bf7697251882521c8114030#heading-10
  2. oppo R9开启录制失败
  • 现象:
    手上有华为、小米、oppo等几款手机,当时只有oppo这一款手机开启录制就失败。
一些错误日志:
E/ACodec: signalError(omxError 0x80001001, internalError -2147483648)
E/MediaCodec: Codec reported err 0x80001001, actionCode 0, while in state 3
E/MediaCodec: configure failed with err 0x80001001, resetting...

android.media.MediaCodec$CodecException: Error 0x80001001
at android.media.MediaCodec.native_configure(Native Method)
at android.media.MediaCodec.configure(MediaCodec.java:590)
  • 原因:
 查看异常代码如下
//创建编码器
mVideoEncoder = MediaCodec.createEncoderByType(MIME_TYPE_AVC);
//报错代码就是这行,是编码器configure报错
mVideoEncoder.configure(videoFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);

经过网站一些资料的查找,原来是不同的手机支持的颜色格式不一样,这款oppo手机不支持COLOR_FormatYUV420SemiPlanar,需要设置成COLOR_FormatYUV420Planar
// 指定编码器颜色格式
videoFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420SemiPlanar

既然不同的手机支持的KEY_COLOR_FORMAT 不一样,这里就需要动态的考虑先获取到手机可支持的颜色格式值,在进行设置,如下代码也是参考网上的资料。
 private int getSupportColorFormat() {
        int numCodecs = MediaCodecList.getCodecCount();
        MediaCodecInfo codecInfo = null;
        for (int i = 0; i < numCodecs && codecInfo == null; i++) {
            MediaCodecInfo info = MediaCodecList.getCodecInfoAt(i);
            if (!info.isEncoder()) {
                continue;
            }
            String[] types = info.getSupportedTypes();
            boolean found = false;
            for (int j = 0; j < types.length && !found; j++) {
                if (types[j].equals("video/avc")) {
                    Log.d(TAG, "found");
                    found = true;
                }
            }
            if (!found)
                continue;
            codecInfo = info;
        }
        Log.e("AvcEncoder", "Found " + codecInfo.getName() + " supporting " + "video/avc");
        // Find a color profile that the codec supports
        MediaCodecInfo.CodecCapabilities capabilities = codecInfo.getCapabilitiesForType("video/avc");
        Log.e("AvcEncoder",
                "length-" + capabilities.colorFormats.length + "==" + Arrays.toString(capabilities.colorFormats));
        for (int i = 0; i < capabilities.colorFormats.length; i++) {
            Log.d(TAG, "MediaCodecInfo COLOR FORMAT :" + capabilities.colorFormats[i]);
            if ((capabilities.colorFormats[i] == MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420SemiPlanar) || (capabilities.colorFormats[i] == MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Planar)) {
                return capabilities.colorFormats[i];
            }
        }
        return MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Flexible;
    }
  1. oppo R9 录制的视频是黑白的
    原因:
    这个问题跟上一个问题是有关联的,出现黑白视频或者录出来视频画面的颜色与真实情况不一致,一般来说跟yuv的转换有关系,上面提到我们设置编码器颜色格式color format有两种,COLOR_FormatYUV420SemiPlanar 和COLOR_FormatYUV420Planar,我们在摄像头预览格式设置的nv21,所以在进行编码的时候,先要对yuv进行转换,一旦转换不对,最终生成的视频可能就是黑白或完全无法播放。
parameters.setPreviewFormat(ImageFormat.NV21);

常见YUV格式和Android中的COLOR_FormatYUV420对应关系
https://blog.csdn.net/qq_34557284/article/details/90902363

不同的color  format对应不同的转换方式,这里使用了谷歌的Libyuv工具包进行转换,该方法是native方法,据别人测算性能相比自己java写的转换会好很多。 if(colorFormat==MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420SemiPlanar){
            // MediaCodecInfo color format 为 COLOR_FormatYUV420SemiPlanar 时,需要把nv21数据 转为 nv12
            LibyuvUtil.convertNV21ToI420(nv21, yuvI420, mCameraHelp.getWidth(), mCameraHelp.getHeight());
            //不压缩,前置也不进行镜像,因为镜像后证件显示会是反的
            //LibyuvUtil.compressI420(yuvI420, videoWidth, videoHeight, tempYuvI420, videoWidth, videoHeight, rotation, isFrontCamera);
            LibyuvUtil.convertI420ToNV12(yuvI420, toEncodeDate, mCameraHelp.getWidth(), mCameraHelp.getHeight());
        }else {
            // MediaCodecInfo color format 为 COLOR_FormatYUV420Planar 时,需要把nv21数据 转为 YUVI420
            LibyuvUtil.convertNV21ToI420(nv21,toEncodeDate,mCameraHelp.getWidth(), mCameraHelp.getHeight());
            //不压缩,前置也不进行镜像,因为镜像后证件显示会是反的
            // LibyuvUtil.compressI420(yuvI420, videoWidth, videoHeight, toEncodeDate, videoWidth, videoHeight, rotation, isFrontCamera);
        }

4.华为p9语音播报问题
现象:我用华为p9测试录制的时候,发现每次录制到第十一段左右的时候就没声音了,错误日志:mediaplay error(1,-19)
原因:这个问题一开始挺困扰的,因为同一份代码,我手上几个手机只有华为p9有这个问题,不过有同事也有其它手机有问题,有些手机是在第二次录制的时候才有这个问题,很奇怪,如果是资源没释放,为什么有的手机正常?而且用工具分析录制过程中内存的变化,没有发现明显的异常,对我们自己的代码也review了几遍,也调试了几遍,直到后面搜索问题看到这篇文章https://blog.csdn.net/jakera/article/details/85081280,里面提到的dumpsys media.audio_flinger 这个命令很有用,通过这个命令查看数据,发现每次点下一步新增了一个服务,如下面截图 client type就是我们应用的进程号,从截图可以知道存在很多个不活跃的服务,我猜测这个服务是有限制的,达到一定数量后不可在创建,所以这也是为什么一般十来次后就出问题

播报服务.png

到这里结合博客提到的内容基本也就定位到了问题代码,其实不是我们自己代码问题,是用的腾讯sdk里面播报音频服务停止的时候没有正常的释放资源,看下反编译后的代码也验证了猜想,如下:

// 有问题的代码
  if (this.mediaPlayer != null) {
                this.mediaPlayer.stop();
               }
  //改之后的代码
  if (this.mediaPlayer != null) {
                this.mediaPlayer.stop();
                this.mediaPlayer.release();
            }
            this.mediaPlayer = null;         
       

基本确认是腾讯云sdk问题后,给他们提了一个工单,附上了我查到的几篇文章,然后回家不久就收到了他们客服电话,希望我在他们demo上去还原问题,我估计他们是不太相信我的话,其实知道了原因要还原就很简单了,第二天在他们demo上运行,直接连续语音播报十几次一样复现问题,提供相关的截图和错误信息给他们,后面因为考虑到当天已经是我们发布日期,怕他们无法及时更新sdk,所以只好反编译他们的代码,覆盖跟这个问题有关的三个类,重新运行,一切正常,不过为什么有些手机可以,有些不行,系统版本问题?还是厂商改的?没有继续去深究。
下面几个链接是关于这个问题我找到的其它一些参考资料
MediaPlayer源码存在的内存泄漏问题,释放资源的正确方式
https://blog.csdn.net/sdfdzx/article/details/60144834
记一个华为手机上声音突然消失不见的bug
http://bearcoder.codes/blog/2018/05/17/bugji-lu/

待写。。。
5.ios视频模糊的问题
6.为什么Android一期用MediaRecorder,二期改了整个录制方式呢?

4.总结

整体来说,要把音视频跑通并不是难事,但是要做稳定,兼容性要做好不容易,包括用的第三方的sdk,即使腾讯云提供的sdk在这一个多月时间里,被我们发现的bug都有四五处,还一些非常隐蔽的问题,不过处理问题响应速度还是很不错的,至于我们自己需要学习和深挖的点就太多了,几个待研究的方向:

  • 人脸检测
  • OCR
  • 声音降噪,提高录制的声音质量
  • 清晰度分析
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,456评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,370评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,337评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,583评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,596评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,572评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,936评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,595评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,850评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,601评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,685评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,371评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,951评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,934评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,167评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,636评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,411评论 2 342

推荐阅读更多精彩内容