一、背景
随着移动互联网的兴起,人们对信息表达不再局限于文字和图片,而是转向音视频。伴随着带宽越来越便宜、速度越来越快,音视频的沟通变得更加的简单、易用。尤其,2020年突如其来的疫情,视频给工作和防疫提供了太多的便利。现阶段,视频的运用主要有:直播、短视频、视频会议等。
二、场景架构
1、直播、短视频结构

2、视频会议

三、音视频领域的技术点
1、音频
3A技术(降噪、agc、aec),音频特效、音频超分
编码:aac、opus、flac、mp3等
音质评价:peaq、pesq、无参考音质评价(
深度学习)。
2、视频
图像处理:openGL、metal、CUDA、VR、AR、美颜、滤镜等特效,
编码:mpeg2 、mpeg4、h264、h265等
图像评价:vmaf、无参考图形量化(ssim、psnr等)