03_重识音频

我们平时在互联网上听到的声音,都是先经过录制后,再传输到互联网上的。比如歌曲、电影、主播等的声音。

PCM

录音的原理可以简单理解为:把声源的振动记录下来,需要时再让某个物体按照记录下来的振动规律去振动,就会产生与原来一样的声音。

记录
重现

如何把声音(声源的振动)记录下来呢?声音属于模拟信号,但更便于计算机处理和存储的是数字信号(二进制编码),所以需要将模拟信号(Analog Signal)转成数字信号(Digital Signal)后进行存储。这一过程,我们可以称之为:音频数字化。

模拟信号与数字信号的比喻
模拟信号与数字信号的转换

将音频数字化的常见技术方案是脉冲编码调制PCM,Pulse Code Modulation),主要过程是:采样 → 量化 → 编码。

模拟信号转数字信号
模拟信号转数字信号

采样

模拟信号的波形是无限光滑的,可以看成由无数个点组成,由于存储空间是相对有限的,数字编码过程中,必须要对波形的点进行采样。采样(Sampling):每隔一段时间采集一次模拟信号的样本,是一个在时间上将模拟信号离散化(把连续信号转换成离散信号)的过程。

采样率

每秒采集的样本数量,称为采样率(采样频率,采样速率,Sampling Rate)。比如,采样率44.1kHz表示1秒钟采集44100个样本。

采样定理

根据采样定理(奈奎斯特–香农采样定理,Nyquist-Shannon sampling theorem)得知:只有当采样率高于声音信号最高频率的2倍时,才能把采集的声音信号唯一地还原成原来的声音。人耳能够感觉到的最高声音频率为20000Hz,因此为了满足人耳的听觉要求,需要至少每秒进行40000次采样(40kHz采样率)。这就是为什么常见的CD的采样率为44.1kHz。电话、无线对讲机、无线麦克风等的采样率是8kHZ。

量化

量化(Quantization):将每一个采样点的样本值数字化。

位深度

位深度(采样精度,采样大小,Bit Depth):使用多少个二进制位来存储一个采样点的样本值。位深度越高,表示的振幅越精确。常见的CD采用16bit的位深度,能表示65536(216)个不同的值。DVD使用24bit的位深度,大多数电话设备使用8bit的位深度。

不同采样率、位深度对比

编码

编码:将采样和量化后的数字数据转成二进制码流。

其他概念

声道(Channel)

单声道产生一组声波数据,双声道(立体声)产生两组声波数据。

采样率44.1kHZ、位深度16bit的1分钟立体声PCM数据有多大?

  • 采样率 * 位深度 * 声道数 * 时间
  • 44100 * 16 * 2 * 60 / 8 ≈ 10.34MB

1分钟10.34MB,这对于大部分用户来说是不能接受的。要想在不改变音频时长的前提下,降低音频数据的大小,只有2种方法:降低采样指标、压缩。降低采样指标是不可取的,会导致音频质量下降,用户体验变差,因此专家们研发了各种压缩方案。

比特率

比特率(Bit Rate),指单位时间内传输或处理的比特数量,单位是:比特每秒(bit/s或bps),还有:千比特每秒(Kbit/s或Kbps)、兆比特每秒(Mbit/s或Mbps)、吉比特每秒(Gbit/s或Gbps)、太比特每秒(Tbit/s或Tbps)。

采样率44.1kHZ、位深度16bit的立体声PCM数据的比特率是多少?

  • 采样率 * 位深度 * 声道数
  • 44100 * 16 * 2 = 1411.2Kbps

通常,采样率、位深度越高,数字化音频的质量就越好。从比特率的计算公式可以看得出来:比特率越高,数字化音频的质量就越好。

信噪比

信噪比(Signal-to-noise ratio,SNR,S/N,讯噪比),指信号与噪声的比例,用于比较所需信号的强度与背景噪声的强度,以分贝(dB)为单位。

位深度限制了信噪比的最大值,它们的关系如下表所示。

位深度 信噪比
4 24.08
8 48.16
11 66.22
12 72.24
16 96.33
18 108.37
20 120.41
24 144.49
32 192.66
48 288.99
64 385.32

音频的编码与解码

编码(Encode)

PCM数据可以理解为是:未经压缩的原始音频数据,体积比较大,为了更便于存储和传输,一般都会使用某种音频编码对它进行编码压缩,然后再存成某种音频文件格式

编码

压缩分为无损压缩和有损压缩。

  • 无损压缩
    • 解压后可以完全还原出原始数据
    • 压缩比,体积
  • 有损压缩
    • 解压后不能完全还原出原始数据,会丢失一部分信息
    • 压缩比,体积
    • 压缩比越大,丢失的信息就越多,还原后的信号失真就会越大
    • 一般是通过舍弃原始数据中对人类听觉不重要的部分,达成压缩成较小文件的目的
  • 压缩比 = 未压缩大小 / 压缩后大小

解码(Decode)

当需要播放音频时,得先解码(解压缩)出PCM数据,然后再进行播放。

解码

常见的音频编码和文件格式

需要注意的是:音频文件格式并不等于音频编码。比如:

  • WAV只是一种文件格式,并不是一种编码

  • FLAC既是一种文件格式,又是一种编码

下面对常见的音频编码和文件格式做一个简介,以后有需要时再进行详细介绍。

名称 无损压缩 文件扩展名
Monkey's Audio ✔️ .ape
FLAC(Free Lossless Audio Codec) ✔️ .flac
ALAC(Apple Lossless Audio Codec) ✔️ .m4a/.caf
MP3(MPEG Audio Layer III) .mp3
WMA(Windows Media Audio) .wma
AAC(Advanced Audio Coding) .acc/.mp4/.m4a
Vorbis .ogg
Speex .spx
Opus .opus
Ogg .ogg
WAV(Waveform Audio File Format) .wav
AIFF(Audio Interchange File Format) .aiff、.aif

无损

Monkey's Audio

Monkey's Audio,是一种无损的音频编码和文件格式,文件扩展名为.ape,压缩率一般在55%左右。

FLAC

FLAC(Free Lossless Audio Codec),是一种无损的音频编码和文件格式,文件扩展名为.flac。虽然压缩率稍有不及Monkey's Audio,但FLAC技术更先进,占用资源更低,有更多的平台及硬件产品支持FLAC。

ALAC

ALAC(Apple Lossless Audio Codec),是由Apple开发的一种无损的音频编码,文件扩展名为.m4a.caf

有损

MP3

MP3(MPEG Audio Layer III),是非常流行的一种有损音频编码和文件格式,文件扩展名为.mp3

  • 第1版是:MPEG-1 Audio Layer III,属于国际标准ISO/IEC 11172-3
  • 第2版是:MPEG-2 Audio Layer III,属于国际标准ISO/IEC 13818-3
  • 第3版是:MPEG-2.5 Audio Layer III,并不是由MPEG官方开发的,不是公认的标准

WMA

WMA(Windows Media Audio),是由Microsoft开发的音频编码和文件格式,文件扩展名为.wma。包括4种类型:

  • WMA:原始的WMA编解码器,作为MP3的竞争者,属于有损音频编码
  • WMA Pro:支持更多声道和更高质量的音频,属于有损音频编码
  • WMA Lossless:属于无损音频编码
  • WMA Voice:属于有损音频编码

AAC

AAC(Advanced Audio Coding),是由Fraunhofer IIS、杜比实验室、AT&T、Sony、Nokia等公司共同开发的有损音频编码和文件格式,压缩比通常为18:1。

AAC被设计为MP3格式的后继产品,通常在相同的比特率下可以获得比MP3更高的声音质量,是iPhone、iPod、iPad、iTunes的标准音频格式。

AAC编码的文件扩展名主要有3种:

  • .aac:传统的AAC编码,使用MPEG-2 Audio Transport Stream(ADTS)容器
  • .mp4:使用了MPEG-4 Part 14的简化版即3GPP Media Release 6 Basic(3gp6)进行封装的AAC编码
  • .m4a:为了区别纯音频MP4文件和包含视频的MP4文件而由Apple公司使用的扩展名
    • Apple iTunes对纯音频MP4文件采用了.m4a文件扩展名
    • M4A的本质和音频MP4相同,故音频MP4文件可以直接更改文件扩展名为.m4a

Vorbis

Vorbis,是由Xiph.Org基金会开发的一种有损音频编码。通常以Ogg作为容器格式,所以常合称为Ogg Vorbis,文件扩展名为.ogg

Speex

Speex,是由Xiph.Org基金会开发的一种有损音频编码和文件格式,文件扩展名为.spx

Opus

Opus,是由Xiph.Org基金会开发的一种有损音频编码和文件格式,文件扩展名为.opus。用以取代Vorbis和Speedx。经过多次盲听测试,在任何给定的比特率下都比其他标准音频格式具有更高的质量,包括MP3、AAC。

文件格式

Ogg

Ogg是一种多媒体文件格式,由Xiph.Org基金会所维护,可以纳入各式各样的音视频编码(音频、视频都可以),文件扩展名常为.ogg

Ogg常用的音频编码有:

  • 有损压缩:Speex、Vorbis、Opus
  • 无损压缩:FLAC
  • 未压缩:PCM

WAV

WAV(Waveform Audio File Format),是由IBM和Microsoft开发的音频文件格式,扩展名是.wav,通常采用PCM编码,常用于Windows系统中。

WAV的文件格式如下图所示,前面有44个字节的文件头,紧跟在后面的就是音频数据(比如PCM数据)。

WAV文件格式
WAV文件格式
  • NumChannels:声道数
  • SampleRate:采样率(Hz)
  • ByteRate:每秒多少个字节(Byte/s)
  • BitsPerSample:位深度
  • BlockAlign:一个样本的字节数 = BitsPerSample * NumChannels / 8

AIFF

AIFF(Audio Interchange File Format),由Apple开发的音频文件格式,扩展名是.aiff.aif。跟WAV一样,通常采用PCM编码,常用于Mac系统中。

有损和无损

根据采样率和位深度可以得知:相对于自然界的信号,音频编码最多只能做到无限接近,任何数字音频编码方案都是有损的,因为无法完全还原。目前能够达到最高保真水平的就是PCM编码,因此,PCM约定俗成叫做无损音频编码,被广泛用于素材保存及音乐欣赏,CD、DVD以及常见的WAV文件中均有应用。

但并不意味着PCM就能够确保信号绝对保真,PCM也只能做到最大程度的无限接近。我们习惯性的把MP3列入有损音频编码范畴,是相对于PCM编码的。要做到真正的无损是困难的,就像用数字去表达圆周率,不管精度多高,也只是无限接近,而不是真正等于圆周率的值。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,362评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,330评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,247评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,560评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,580评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,569评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,929评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,587评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,840评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,596评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,678评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,366评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,945评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,929评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,165评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,271评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,403评论 2 342

推荐阅读更多精彩内容

  • 信息论的观点来看,描述信源的数据是信息和数据冗余之和,即:数据=信息+数据冗余。音频信号在时域和频域上具有相关性,...
    轻口味阅读 1,055评论 0 2
  • 概述 本片文章主要介绍音频基础,在做音频开发之前首先必须要对音频的相关概念了解。以下是具体内容概述: 常见的音频格...
    iosmedia阅读 2,627评论 0 1
  • 音频数字化 将模拟信号(Analog Signal)转成数字信号(Digital Signal)后进行存储。这一过...
    码农不会码阅读 607评论 0 0
  • 学习这篇文章之前,你如果有计算机相关的专业肯定是更好的,毕竟会涉及到一些专业术语,例如信号等?有没有人觉得很奇怪,...
    coder_feng阅读 1,073评论 0 1
  • 前言: 记载资料多为网络搜集,侵删。 根据最近接触的整机项目做了一些整机音频相关基础知识的总结,如有不足或表述问题...
    Gawain_Knowknow阅读 8,098评论 0 4