重读R.Rabbinner数字语音信号处理—Chap3 Hearing and Auditory Perception

Human Ear

人耳结构[1]

人耳结构

pinna 耳郭
external cannal 外耳道
tympanic membrane 鼓膜 timˈpanik
malleus/hammer 锤骨/听小骨 malēəs
incus/anvil 砧骨
stapes 镫骨
cochlea 耳蜗

耳蜗[2]

耳蜗

  1. The basilar(基底膜) membrane vibrates in a frequency-selective manner along its extent and performs a rough(Non-uniform) spectral analysis.
  2. 一系列的实验研究了人的听力系统对声学特性比如强度和频率。

Perception of Loudness 对响度的感知

补充知识:

声学中,声音的强度定义为声压。计算分贝值时采用20微帕斯卡为参考值。这一参考值是人类对声音能够感知的阈值下限。声压是场量,因此使用声压计算分贝时使用下述版本的公式:
L_p = 20 log_{10}(\frac{P_{rms}}{P_{ref}})
其中P_{ref} 定义为20微帕。

下图是等响度曲线equal loudness leel contours,是和1000HZ的pure tone对比。低频率需要更高的强度。最下面的线是听觉下限,
等响度曲线[3]

等响度曲线

上面的图

  1. By convension, 50db声压 1000hz的听起来和60db声压 100hz的差不多,但是实际上 50db 100hz 和 60db 100hz的都说响度为50 phons。
  2. 人的听觉系统对100hz—6khz范围内的声压比较铭感,在3khz-4khz处最敏感,几乎大部分的语音都在这个范围内。

Critical Bands临界带宽

基底膜可以看作是一系列的带通滤波器,间隔逐渐变大,但是他们的频率响应有很多的重叠,因为basilar membrane 不能独立的震动。尽管这样,带通滤波器这个概念还是发布了, 以及用了一系列方法测量了critical bands(临界带宽),研究表明在500HZ以下带宽是常数,大概是100HZ,然而对500HZ以上,大概是频率的1/5. 经验测出的带宽可以用这个公式表示
\Delta f_c = 25+75[1+1.4(\frac{f_c}{1000})^2]^{0.69}
大概0-20khz频率范围内选了25个critical band filters

音高感知 Pitch Perception

大部分音乐和voiced sound在短时内都有一个周期性的结构,用pitch来量化。

1000hz音高为1000mels,这是根据测试来的,受测试这被要求把测试的音高调为对照音高的一半。

为了校准,1000hz为1000mels,1000hz一下,音高和频率几乎是成比例的,对更高的频率来说,音高和频率的非线性可以用下面的公式来变换.
Pitch In Mels = 1127ln(1+\frac{f}{700})
音高这个物理现象,被mel-scale量化,和critical bands这个概念也有关。 一个临界带宽大约对应于mel-scale的100mel 音高。

voiced speech是准周期的,但是包含着很多frequencies. 虽然这样,许多用纯音获得的结果也和音高有关。pitch period 音高周期用于描述voiced speech的基本周期,即使有些不太精确

Auditory Masking 掩蔽效应

Critical band analysis 可以直观的解释basilar membrane,但是掩蔽效应仍然也影响着basilar membrane的掩蔽效应。 Masking是一个较强的声音掩盖了一个较弱的声音[4]

Auditory masking[4]

Auditory masking

一个强的tone会提高周围tone的门限,所以在speech processing system中不用包括这些被masking的声音。

Masking被在digital speech representation中被广泛应用,对被masking区域可压缩。(果然英语和中文的脑回路是不一样的,感受一下英文逻辑Masking is widely employed in digital representations of speech (and audio) signals by “hiding” errors in the representation in areas where the threshold of hearing is elevated by strong frequency components in the signal)

简短的总结

  1. mel 刻度的1️以10为底的形式,1937年定义,melody的缩写。

m = 2595 log_{10}(1+ f/700) =1127 ln(1+f/700)

  1. 可以了解一下其他的刻度
  2. 中心频率那块概念还不是特别清楚
  3. 发现了一本不错的树,韩纪庆的语音信号处理。

Reference


  1. [Inductiveload,anatomy of hummen ear with cochlear frequency(https://commons.wikimedia.org/wiki/File:Anatomy_of _Human_Ear_with_Cochlear_Frequency_Mapping.svg.)

  2. basilar membrane

  3. Loudness And The Fletcher-Munson Curve

  4. Jin Li, Embedded audio coding (EAC) with implicit auditory masking

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,222评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,455评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,720评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,568评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,696评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,879评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,028评论 3 409
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,773评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,220评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,550评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,697评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,360评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,002评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,782评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,010评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,433评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,587评论 2 350