音视频知识图谱 2022.03

前些时间,我在知识星球上创建了一个音视频技术社群:关键帧的音视频开发圈,在这里群友们会一起做一个打卡任务:循序渐进的归纳总结音视频技术知识,绘制一幅音视频知识图谱

下面是 2022.03 月知识图谱新增的内容节选:

1)图谱路径:图像算法/视频防抖

  • 传统电子防抖

  • 通过分析前后帧画面的变化,建立特征点,反求出在拍摄时的手机运动,之后再通过反求出来的运动轨迹反向补偿达到稳定画面的目的。

  • 光学防抖

  • 利用手机中已经有的陀螺仪进行手机运动姿态的采集,然后通过马达驱动单个镜头或者整个镜组移动来补偿运动。

  • 陀螺仪电子防抖

  • 不再通过识别画面来反求运动信息,而是直接从陀螺仪数据读取数据。

  • 光学 + 电子混合防抖

  • 同时采用光学和电子防抖对图像进行稳定。

  • 微云台防抖

  • vivo X50 Pro 机型采用该方案。和 OIS 仅移动镜组不同的是,微云台移动的是整个相机模组。

  • 传感器防抖

  • 传感器位移式光学图像防抖。既然镜头更重了,那么就不移动镜头,转而去移动重量更轻的传感器。这样就有可能在更小的体积内实现类似于浮动镜组方案的光学防抖效果。

2)图谱路径:编解码/视频编解码/编码策略/码率控制策略

  • CBR(固定码率,Constant Bitrate),以恒定比特率方式进行编码。

  • 有运动发生时,由于码率恒定,只能通过增大 QP 来减少码字大小,图像质量变差;当场景静止时,图像质量又变好,因此图像质量不稳定。

  • 这种算法码率稳定,对带宽的消耗稳定,适合在流式播放中应用。

  • VBR(动态码率,Variable Bitrate),码率分配根据图像内容的复杂度进行。

  • 如果图像细节较丰富或者含有大量的运动,则给其分配大一点的码流,若图像比较平坦,就给其分配较少的码流, 这样在保证了质量的前提下,兼顾带宽占用。

  • 这种算法适合图像内容变化幅度较大的场景,适合的应用场景是本地存储(如视频录制),不适合网络传输(如直播推流)。

  • ABR(平均码率,Average Bitrate),控制一段时间内的编码平均码率。

  • 是在 CBR 和 VBR 两者之间的一种权衡,即设定一段时间的平均码率,在此时间内,对简单的、静态的图像分配低于平均码率的码率,对于复杂的,大量运动的图像分配高于平均码率的码流。

  • 适合网络传输。

  • CVBR(有限制的动态码率,Constrained VariableBit Rate),对应的 Maximum 码率恒定或者 Average 码率恒定。

  • 是 VBR 的一种改进方法,对应的 Maximum 码率恒定或者 Average 码率恒定。兼顾了 CBR 和 VBR 的优点:在图像内容静止时,节省带宽,有运动发生时,利用前期节省的带宽来尽可能的提高图像质量,达到同时兼顾带宽和图像质量的目的。这种方法通常会让用户输入最大码率和最小码率,静止时,码率稳定在最小码率,运动时,码率大于最小码率,但是又不超过最大码率。

  • CRF(恒定码率系数,Constant Rate Factor),优先保障某一个视觉质量来分配码率。

  • 把某一个『视觉质量』作为输出目标。通过降低那些耗费码率但是又难以用肉眼察觉的帧(高速运动或者纹理丰富)的质量提升那些静态帧的码率来达到此目的。

3)图谱路径:编解码/音频编解码/编码原理/冗余

  • 时域冗余

  • 幅度分布的非均匀性

  • 样值之间的相关性

  • 信号周期之间的相关性

  • 静止系数

  • 长时自相关性

  • 频域冗余

  • 长时功率谱密度的非均匀性

  • 语音特有的短时功率谱密度

  • 听觉冗余

  • 人耳掩蔽效应

  • 将会被掩蔽的信号分量在传输之前就去除

  • 不理会可能被掩蔽的量化噪声

  • 将人耳不敏感的频率信号在数字化之前滤除,如语音信号只保留 300Hz-3400Hz 的信号


如果你也对音视频技术感兴趣,比如,符合下面的情况:

  • 在校大学生 → 学习音视频开发
  • iOS/Android 客户端开发 → 转入音视频领域
  • 直播/短视频业务开发 → 深入音视频底层 SDK 开发
  • 音视频 SDK 开发 → 提升技能,解决优化瓶颈

不妨看看《是的,我建了一个进阶百万年薪的社群》了解一下这个社群,根据自己的需要,按需加入(本文最后有加入社群的二维码,还剩少量优惠券)。


下面是 2022.03 月的知识图谱快照:

2022.03 月的音视频知识图谱快照
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,470评论 6 501
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,393评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,577评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,176评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,189评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,155评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,041评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,903评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,319评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,539评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,703评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,417评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,013评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,664评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,818评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,711评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,601评论 2 353

推荐阅读更多精彩内容