音视频学习记录(一)

1.学习音视频需要一个非常长的周期,在这个周期内需要你不断的强迫自己接受新的知识,并且将某些东西发挥到极致才会有所有收货,下面先简单罗列一下接下来的学习过程

视频如何解包装

下面是播放视频的过程,至于这个过程怎么来的,大致了解了一下,

一个可以被播放的视频,内容大致分为3个
1.音频 单通道 双通道 环绕声(多通道) 等等
2.视频数据
3.字幕数据,目前这个国内用到的比较少
了解了这些就可以继续向下分析播放整个过程了

视频播放需要将视频内容拆分

一个视频播放需要经过这么多到流程,为什么还要这么做呢

音频 与 视频的采集都会随着频率 质量影响,设定的参数越大就会导致原始数据的内容膨胀的非常快,原始数据的膨胀就意味着数据传输上带来的额外的开销与不稳定性,那么就需要对视频与音频进行压缩传送,现在主流的音频压缩大多数都在使用AAC ,这个编码格式在同样音质的情况下,可以将内容压缩的更小,视频大多都使用的H.264 H.265 格式, 也就是 I P B 帧压缩思路

视频的编码过程是一个比较复杂的过程,但是如何压缩视频呢,我就就从每一帧来分析

1.空间冗余:通过算法去除相邻相似度非常高的内容

2.时间冗余:在视频拼装的过程中,保留第一帧与第二帧之间的变化信息,在播放时利用完整帧 与 只保留变化帧合成新的帧

3.视觉冗余:某些相似的颜色在人类看起来是没有差别的,或者说感受不到差别,那么这类信息统一后,可以让信息变得更小,在使用方法1,则可以进行图片压缩,

4.哈夫曼算法能去除编码信息的冗余

I帧 主要帧 原始图像 显示-->在渲染过程中只需要关注帧内信息 压缩情况--> 基本没有信息压缩

P帧 变化帧 记录与I帧的信息差, 显示-->需要与前面的主要帧合成新的帧图像 压缩情况--> 压缩情况比 I 帧 高,但是比B 帧低

B帧 变化帧 记录与前面I 帧 和 后面 帧的信息差 , 显示--> 图片合成过程比较复杂,需要前后两个帧都参与进来 压缩情况-->压缩率最高

各种压缩方式也需要结合实际情况来使用,就比如直播业务需要较高的数据实时性与性能的要求,在编码过程中就需要尽量减少B帧的数量,来减少计算合成帧的过程,过度的压缩就会带来解码过程中性能的损耗,发热 电量等其他问题也会随之出现

现在主流的视频编码方式是 H264 与 H265,他们会有非常多的叫法

H.264 == MPEG-4 AVC 简写 AVC

H.265 == HEVC

H.264 分层结构

VCL: 数据编码层

NAL:网络提取层

关于VCL 与 NAL 的介绍都比较笼统,但是把他们想象成 客户端想服务端发起请求的过程就比较好理解了 VCL 的主要功能就是讲 数据封装成一个javaBean ,而 NAL 则是将javaBean 序列化成为一个 json数据,发送给服务端

视频信息在传输过程中都是 NALU 的数据包来传出的,而 NALU 的数据包又包含了下面3个信息

  1. NALU 间隔符 ,在数据传输过程中会存在非常多的 NALU ,我们使用下面的示例来看一下
    示例1-->NALUNALUNALUNALUNALUNALUNALUNALUNALUNALU
    示例2-->|NALU|NALU|NALU|NALU|NALU|NALU|NALU|NALU|
    从上面这个例子就能很好的将一个个NALU 数据包分割出来

2.数据头 他是一个16进制的数据, 将他转换为二进制后,有可以将这部分数据分成了3个组

0 00 00000
将低 五位转化为 16进制后,就可以根据 H.264 信息对照表来查看 这个NALU 数据的内容 SPS PPS 等信息就是利用它来区分的

第2-3位来表示的是这个数据的重要性 11 代表非常重要 而 00 就代表非常不重要

第一位用来表示这个信息是否可用的,0 可用 1不肯用 , 没有明白他的设计初衷,是为了方便在视频中夹带私货? 搞不清楚

在音视频开发领域过程中,我们需要经常分析 SPS PPS 与 I帧

而且伴随着 B 帧的内容是与 前后帧都有关系的,那么在实际开发过程中 就产生了2个顺序,也就是 解码顺序与播放数据 ,这个概念也是非常重要的

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,313评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,369评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,916评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,333评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,425评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,481评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,491评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,268评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,719评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,004评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,179评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,832评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,510评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,153评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,402评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,045评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,071评论 2 352

推荐阅读更多精彩内容