第五章 搭配——统计自然语言处理基础笔记

所谓搭配,感性理解可以认为搭配就是自然语言中经常联合一起使用的词。比如我们小学英语经常被的词组等,这章讨论的问题便是如何通过一些技术手段找到常用搭配。

1. 频率

最简单的方法,统计二元词序列出现频率。但是效果并不好,出现频率高的往往是一些虚词。但通过使用词性过滤器就有了很好的效果,如规定一个标记模式为AN(即一个形容词加一个名词)。
可见,简单的计量技术和一些语言学知识结合起来效果可能很好。

2. 均值和方差

虽然频率能挺好地解决二元词序列的搭配问题,但是在英文当中往往有很多搭配,词与词之间并非紧挨一起的。比如:knocking on/at door.

she knocked on hist door
they knocked at the door
100 women knocked on Donaldson's door
a man knocked on the metal front door.

此处定义了一个搭配窗口(通常包括3到4个词),把窗口中的第一个词和窗口中其他词进行统计,然后窗口往后移动一位。这样就可以得到一个词和其他词同时出现在一起的频率了。

通过计算词与词同时出现时的偏移量均值和方差。这时候,偏移量方差较小的词能显示两个词之间存在着某种相对固定的出现模式,可以认为是存在搭配现象,高方差则没有。

Smadja(1993)把该方法用在术语抽取(估计有80%的准确率)和自然语言生成中确定合适短语。

3. 假设检验

这一节以搭配为例子,介绍了4种在自然语言处理中使用到的统计学的假设检验方法。

我们发现的搭配是否真的是搭配呢?
我们可以假设H0:p(w1w2) = p(w1) * p(w2)
即词1和词2的出现事件是独立的。

3.1 t检验

常见的分布统计检验,用我们给予假设H0所求得的w1与w2同时出现的概率。如果实际样本的频率与这个接近,并且t值在置信区间内即为假设H0成立。

3.2 差异的假设检验

t检验可以很好地用来区分细微差异的搭配。比如两个词strong和powerful,意义相近,它们的同现模式可以很好地区分两个词的差异。

比如我们比较感兴趣strong和powerful搭配computers哪个更合适。
设strong 为 v1,powerful为2,computers为w

通过使用t检验看两个搭配是否以比较接近的概率使用。

3.3 皮卡逊卡方检验

t检验假设了数据的先验分布为正态分布,而一般情况下并非正态分布。卡方检验可以很好地验证数据是否独立。

其中O是观察值,E为期望值。比如在假设H0的情况下,w1,w2单独出现,同时出现,同时不出现的概率都应该和整个文本w1,w2有关,而且可以算出期望值。

3.4 似然比

现有的N个样本中我们可以得出对一些参数的似然函数。其中根据假设H0,H1我们可以得到似然函数L0,L1

似然比就是,L0/L1。似然比越大表示,L0越可信。

4. 互信息

互信息在很多地方都有很好地用处。此处定义的互信息在nlp中经常用到,但是和信息论里面的互信息有所不同。在搭配这个课题可以度量一个词和其他词有多大的联系。

但数据稀疏的时候对这个方法的结果影响非常大,因此只能考虑出现频率大于3的词

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,185评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,445评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,684评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,564评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,681评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,874评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,025评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,761评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,217评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,545评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,694评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,351评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,988评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,778评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,007评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,427评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,580评论 2 349

推荐阅读更多精彩内容