音视频技术总览

一、背景

       随着移动互联网的兴起,人们对信息表达不再局限于文字和图片,而是转向音视频。伴随着带宽越来越便宜、速度越来越快,音视频的沟通变得更加的简单、易用。尤其,2020年突如其来的疫情,视频给工作和防疫提供了太多的便利。现阶段,视频的运用主要有:直播、短视频、视频会议等。

二、场景架构

1、直播、短视频结构


2、视频会议


三、音视频领域的技术点

1、音频

        3A技术(降噪、agc、aec),音频特效、音频超分

        编码:aac、opus、flac、mp3等

 音质评价:peaq、pesq、无参考音质评价(
深度学习)。

2、视频

        图像处理:openGL、metal、CUDA、VR、AR、美颜、滤镜等特效,

        编码:mpeg2 、mpeg4、h264、h265等

 图像评价:vmaf、无参考图形量化(ssim、psnr等)

3、ffmpeg的使用

4、播放器

5、流媒体服务、CDN

6、新一代基于UDP的传输协议

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

友情链接更多精彩内容