音视频之音频相关概念介绍

概要

在从事音视频的音频开发中,难免会遇到一些问题,比如声音异常,回音等问题,这时候有比较牢固的概念基础会对分析这些问题很有帮助。本篇就介绍下音频相关的概念

正文

声音的组成

声波的三要素是频率,振幅,和波形。
频率的大小代表音调,振幅的大小代表响度,波形代表音色。结合下面的一段音频波形,会更形象一些。频率就是振动快慢,振幅是波形的变化幅度,而波形的包络,就是音色。


image.png

采样

声音本身可以看成是模拟信号,如果要在计算机中处理则需要转成数字信号。如何将模拟信号转成数字信号,这就需要采样了。信号本身有一个频率,而采样函数也有一个频率,根据Nyquist-Shannon采样定理,如果要正确获取原始信号的信息,那么采样频率至少需要是原始信号频率的2倍。

而在音频处理中,还会经常看到一个概念,叫重采样。在信号处理中,各个功能处理的信号频率可能是不一样的,比如在混合多个音频流的时候,各个音频流采样频率可能是不一样的, 这时候就需要重采样,让各音频流在混音之前先重采样成一样的频率和声道。重采样的过程就是将信号从一个频率,声道转换成另外一种频率和声道的过程

声道

采样时候的声道就是声音录制时候的音源数量,而播放时候的省道就是扬声器数量。

采样位数

在用数字信号表示音频信号的时候,某个信号可以用8位数字,也就是1个字节表示,也可以用2个字节标记。用的位数越多,表示的信号等级也就越多,目前用的最多的是2个字节。

采样时长

按照前面的介绍,就可以理解单位时间内采样的音频数据大小计算了,1s的音频数据大小是:


image.png

f是采样频率,Channels是声道数,BytesPerSample是采样字节数。

那么也可以计算一段音频对应的时长:

image.png

3A

3A指的就是声音采集时的几个声音处理流程,包括ANS(噪声消除),AEC(回声消除),AGC(语音增强),分别介绍下:
ANS:就是在音频信号中去掉噪音,简单的原理就是识别音频中的语音信号和噪声信号,然后将噪声信号去掉。如何识别语音信号?就会有多种方法, 比如在采集的时候,我们不会是一直说话的,那么不说话时候的信号主要就是噪音。
AEC:在A和B通话的时候,A采集的声音在B处播放,B的麦克风不仅会猜忌B自己的声音,也会将B处播放的A的声音也采集到,然后发送到A处播放,这样A就听到了自己的声音。这时候就需要在采集的时候,根据获取的远端音频信号,从采集的信号中去掉采集的远端音频信号,也就是把远端的回声去掉。这儿只需要知道,回声消除是只在采集的地方处理的。
AGC:在采集的时候,声音大小可能会随着人离麦克风的距离发生变化,为了让人的声音听起来不是忽高忽低,那么就需要AGC来将采集的声音强度调整成一致的,这样听起来就不会忽高忽低了。

音量类型

我们嵌入式设备接触的多的就是通话音量和媒体音量。这两个音量有什么区别呢?主要是通话音量下需要开启AEC,而媒体音量不需要。另外采集的频率也会有差异。通话音量主要是针对语音通话场景,比如和主播互动,而媒体音量主要是针对媒体播放场景,比如听那个音乐。
那如何区分通话音量和媒体音量呢?通过调节音量按键,通话音量的音量是不会被调成0,而媒体音量可以。

音频路由

音频路由就是音频的输入和输出通道,包含麦克风,听筒,有线耳机,蓝牙耳机,蓝牙SCO。这儿可以看到蓝牙耳机有2种,一种是SCO,一种是ACL。 SCO用于通话场景,建立连接时间比较长,大概3秒左右。

耳返

耳返就是在采集端建一个回路,可以将采集的数据实时播放出来。

PCM

PCM(pulse code modulation)脉冲编码调制,就是原始的音频信号,未经过压缩那种。在分析音频问题的时候,用的最多的方法就是导出各个阶段的PCM数据,看是哪个阶段出的问题。这儿的阶段就是采集,重采样,3A,混音,上行,下行,重采样,混音,播放。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,509评论 6 504
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,806评论 3 394
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,875评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,441评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,488评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,365评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,190评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,062评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,500评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,706评论 3 335
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,834评论 1 347
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,559评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,167评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,779评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,912评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,958评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,779评论 2 354

推荐阅读更多精彩内容

  • 信息论的观点来看,描述信源的数据是信息和数据冗余之和,即:数据=信息+数据冗余。音频信号在时域和频域上具有相关性,...
    轻口味阅读 1,088评论 0 2
  • 来随便讲讲 av 吧. av 就是 audio&video 这里用直播做栗子吧 走一波 采样都知道吧?(不知道自己...
    _zuyu阅读 465评论 0 1
  • 数字音频参数 采样频率 ​ 指每秒钟取得声音样本的次数。声音其实是一种能量波,因此也有频率和振幅的特征,频率对...
    Letcos阅读 730评论 0 0
  • 对一个初学者来说,刚刚接触音视频的学习难免会遇到各种个样的术语,一开始我也是云里雾里的,到现在一点一点接触积累,形...
    海盗的帽子阅读 2,280评论 2 9
  • 简介 音频是个专业术语,音频一词已用作一般性描述音频范围内和声音有关的设备及其作用。人类能够听到的所有声音都称之为...
    请叫我果爸阅读 5,587评论 6 21