音视频技术在手机上的应用与挑战

一、手机音视频现状

1.手机生态划分

手机在线生态--包含手机app应用,如抖音,快手,bilibili

手机本地生态--包含手机相机等

2.手机音视频应用的特点

便携性

多功能性

高清晰度

实时性

社交性

互动性

3.用户关心的特性

视频画质、播放流畅性,支持的格式、稳定性、丰富功能、节省电量

4.体验性技术优化

4.1包体积小(so)

优点:

更快的下载速度:apk体积小,下载速度快,用户可以更快的安装应用程序

更小的存储空间:apk体积小,占用更少的存储空间

更好的用户体验:apk体积小,启动速度更快,应用程序响应更迅速,可以提高用户满意度个体验。

更少的资源消耗:apk体积小,消耗的存档及网络带宽更小,节约网络及存储成本。

如何实现:

1.精简动态符号表

2.去除无用代码

3.ffmpeg定制化编译

4.2内存

内存小优点:

存活更长:减少内存溢出异常OOM,减少内存过大,被系统清理

运行流畅:在GC(java层)时,所以线程都要停止,会导致掉帧

三方友好:占用过大,会导致三方应用系统被清理

优化方式:

内存分析:使用工具 分析内存占比,android studio,dumpsys meminfo,分析代码中的大内存分配,评估必要性。

减少频繁创建销毁:内存分配器(jemalloc)的存在,部分场景自定义内存分配器

减少数据流转:减少数据的拷贝流转,如mediacodec直接渲染视频

4.3功耗

优点:

延长电池寿命:功耗低的手机可以更有效的利用电池电量,减少充电次数

减少发热:产生的热量会响应的减少,从而减少对手机硬件的损耗

提高性能:更加有效的管理资源,从而提高手机的整体性能和反应速度。

降低功耗处理方式:

网络访问:不影响业务和性能的前提下,降低网络访问频率

物尽其用:vpu cpu gpu(后处理并行处理)

cpu高负载优化:排查无用循环

显示模式:texturerview转换sufaceview(进行缩放操作可能会闪黑/)

4.4流畅性(网络播放)

数据调整:MP4 moov位置,大文件拆分

缓存:预先缓存部分数据

预渲染:多实例渲染

优先硬解:优先考虑硬解

4.5稳定性

自动化测试:可以随时测试

重在预防,监控跟踪:代码评审,监控平台

思考深入:解决一个问题,深入是思考代码中是否还存在类似情况

4.6特色功能

视频源协同:多与相机(本地)服务器(在线)交流讨论,多方协同开发

跨平台:关注其他平台特色功能,并思考手机应用场景及实现技术

自身技术:努力提升自身技术实力,关注新技术。

二、性能与挑战

架构选型:


参考

减少sdk体积方式:

本地功能解耦,网络协议,封装格式,编码格式,逻辑精简

图示
起播时间
实现流程方案

手机侧优化

手机侧的优化

三、使用的相关开源技术工具


Bento4


Yuview


bitStream

四、未来展望


ARAVR技术的应用: 随着ARVR技术的不断发展,未来音视频可能会更加注重增强现实和虎拟现实的体验,例如道过AR技术将虚拟物品融入到现实场是中,或者通过VR技术让用户身临其境地体验音视频内容。

5G技术的应用; 5G技术的到来将会使得音视频的传输速摩更快延迟电低,这将为用户提供更加流畅的音视频体验,同时也将为音视频应用的创新带来更多的可能性。

Al技术的应用: AI技术的发展将会为音视频应用带来更多的可能性,例如通过语音识别技术实现智能语音交互,或者通过图像识别技术实现智能视频分析等。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,948评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,371评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,490评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,521评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,627评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,842评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,997评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,741评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,203评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,534评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,673评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,339评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,955评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,770评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,000评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,394评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,562评论 2 349

推荐阅读更多精彩内容