音视频基础

一、音视频编码

视频编码

视频编码分为两个系列:
1.MPEG系列:
MPEG1(VCD使用)
MPEG2(DVD使用)
MPEG4(DVDRIP使用它的变种,如DivX,XviD等)
MPEG4 AVC
2.H.26X系列:
H261
H262
H263
H263+
H263++
H264

音频编码

音频编码格式有:
AAC:一种专为声音数据设计的文件压缩格式。
MP3:(Moving Picture Experts Group Audio Layer III)动态影像专家压缩标准音频层面3,设计用来大幅度地降低音频数据量。
AC3:Audio Coding Version 3,广泛用于5.1声道。

二、关键名词

1、帧率

Frame Rate用于测量显示帧数的量度,每秒显示帧数(frames per second,简称fps)或者赫兹(Hz)。

2、分辨率

视频分辨率是指视频成像产品所形成的图像的大小或者尺寸。

3、刷新率

刷新率是指屏幕每秒画面被刷新的次数,刷新率分为垂直刷新率和水平刷新率,一般提到的刷新率通常指垂直刷新率,以赫兹(Hz)为单位,通常80Hz的刷新率可以完全消除图像的闪烁和抖动感。

4、封装格式

把编码后的音视频数据以一定格式封装到一个容器,封装格式有MKV、AVI、TS等。

5、码率

码率也就是比特率,比特率是单位时间播放连续的媒体的比特数量。文件大小(byte)= 码率(byte/s)*时长(s)。

6、DTS与PTS

DTS:Decode Time Stamp,用于表示读入内存中的比特流在什么时候开始送入解码器中进行解码。
PTS:Presentation Time Stamp,用于度量解码后的视频帧什么时候被显示出来。

7、YUV与RGB(后面会详细聊到这个)

YUV:是PAL与SECAM模拟彩色电视制式采用的颜色空间模型,其中Y代表亮度,UV代表色差,U和V是构成颜色的两个分量。
RGB:通过对R(red)、G(green)、B(blue)3个颜色通道的变化以及它们相互间的叠加来得到各式各样的颜色。

8、视频帧以及音频帧

常见的视频帧有I、P、B帧等。
I帧:关键帧,表示一帧画面的完整保留。
P帧:差别帧,表示当前帧与之前的一个关键帧或者P帧的差别,解码的时候需要用之前换成的画面叠加上本帧定义的差别生成最终画面。
B帧:双向差别帧,表示当前帧记录的是与前后帧的差别,解码B帧不仅需要取得之前画面的缓存,还要解码之后的画面,通过前后画面的数据与本帧数据的叠加取得最终画面。B帧的压缩率高,但是解码时对CPU的消耗也高。
音频帧与编码格式相关,它是各个编码标准自己实现的。
对PCM来说,它不需要帧的概率,根据采样率和采样精度就能播放。
AMR帧规定每20ms的音频是一帧,每一帧的音频都是独立的,有可能采用不同的编码算法以及不同的编码参数。
MP3帧比较复,包含更多的信息,比如采样率、比特率等各种参数。具体如下:音频数据帧个数由文件大小和帧长决定,每一帧的长度可能不固定,也可能固定,由比特率决定,每一帧又分为帧头和数据实体两个部分,帧头记录了MP3的比特率、采样率、版本等信息,每一帧之间相互独立。

9、量化精度

量化精度表示可以将模拟信号分成多少个等级,量化精度越高,音乐的声压振幅越进阶原音乐。量化精度的单位是bit(比特),CD标准 的量化精度是16bit,DVD标准的量化精度是24bit。

10、采样率

采样率指每秒采样点个数,采样率单位用赫兹(Hz)表示。

11、声道

声道(Sound Channel)是指声音再录制或者播放时在不同空间位置采集或回放的相互独立的音频信号,所以声道数也就是声音录制时的音源数量或回放时相应的扬声器数量。
常见的声道有单声道、立体声道、4声道、5.1声道、7。1声道。
单声道:设置一个扬声器。
立体声道:把单声道的扬声器扩展为左右对称的两个扬声器。
4声道:4声道环绕规定了4个发音点,分别是前左、前右、后左、后右,听众则被包围在中间。
5.1声道:将环绕声道一分为二,中央位置增加重低音效果。
7.1声道:在5.1的基础上增加了中左和中右两个发音点。

参考文献

Android 音视频开发

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,734评论 6 505
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,931评论 3 394
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,133评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,532评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,585评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,462评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,262评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,153评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,587评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,792评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,919评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,635评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,237评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,855评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,983评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,048评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,864评论 2 354

推荐阅读更多精彩内容