今天群里进了一批人,有一位在群里提出了疑问,"现在H.264 H.265都已经是行业的标准,视频编解码算法还有什么值得做的事情么?".其实这个问题我一直都在思考中,也引领着我的职业方面的规划。我答应过他,说今天晚上说说我的想法,分享一下我个人对未来音视频领域的展望。
首先我先来一个总结。从我从业的10来年的it行业,其中音视频行业占了大头,大概8年的时间在这个领域深耕积累。音视频行业也从软到强,从粗到细。音视频也逐步的应用于各个行业,以安防,视讯行业为最,尤其最近几年兴起的直播热潮,又将app的直播推到的风投上。 对音视频各个指标的要求,迅速的拉大资源跟需求的矛盾。十年前,基本上不用考虑的计算能力到现在对计算能力的极度要求。对画面的质量的要求也变得高起来,对时延关注比之前任何时候都严,丰富的终端系统,丰富的网络环境,丰富的业务需求对音视频有提出挑战。
其实总体上而言,音视频的需求如下:较高的压缩比,较高的画面声音质量,较低的延迟,较小的系统资源的要求,更加灵活的适应网络终端的环境能力。自从h264标准发布之后,基本上都在这个上面有考虑。而hevc也是以h264的基础上面加以扩展,极少有全新的创新。因此个人认为h264的视频框架将一直的使用,应该不会有太大的改变。以后的视频领域将超高清化,智能化。音视频将一个整体的解决方案的方式来提供。这个解决方案包括音视频前端,音视频编解码,媒体存储转发功能,音视频后处理。音视频渲染。每一个步骤都可以用一个适配软件来组成,因为它是跨越系统多个层次,多个方面。通过这个适配软件,我们将提供给上层一致完备的服务接口。
第1方面,随着视觉科学以及听觉科学的发展,将逐步的改变一下细节方面,比如他们的量化参数。他们的视觉冗余以及对错误屏蔽效果能力应用。
第2方面,数学方面在音视频编解码方面的应用。尤其是小波理论在局部有效性对音视频的分级有很大的利好。线性代数跟概率这这个方面也将大有可为。
第3个方面应该是gpu以及多核方面的应用。由于计算能力超越当前的计算容量,而且采用全新的工程方法来满足需求。
第4个方面软件组件架构的发展。比如d3d与ddraw,opengl跟vunkan。通过对比。大家都支持上层的开发人员要越来越要感知底层的水平。也就是说整个软件系统将打破各个边界,聪本身的高内聚变成了高耦合。
其实我们渴望总希望一套解决方案可以完美的解决所有的需求。可惜的是,音视频行业至今没有一套如此没有的解决方案。如今我们通过对业务的分析,来加权音视频各个的需求点。从而找到合理的平衡点。。相信之后的一段时间内,以业务为主的音视频的需求分析还占主导角色吧,个人觉得。暂时到这里吧。歇笔先。