语言模型
- 基于规则的模型
- 基于概率的模型
统计语言模型
问题：整个句子的概率：
为了保证句子通顺，不出现歧义，计算整个句子的概率
P(S) = P(w1,w2,w3,w4,...)
其中，S代表整个句子，w1,w2,w3,w4代表句子中的每个词，P(w1,w2,w3,w4,...)表示这些词按顺序出现的概率转化为：所有词语的条件概率
P(S) = P(w1,w2,w3,w4,...) = P(w1)P(w2|w1)P(w3|w1,w2)P(w4|w1,w2,w3)...问题简化：马尔可夫简化
由于上一步中的靠后词语的条件概率太难计算，因为它与前面所有的词语都有关系，问题无法求解。所以，俄国科学家马尔可夫提出了一个简化计算方案（假设）：任意一个词语的条件概率只与它前面紧邻的一个词有关。则：
P(S) ≈ P(w1)P(w2|w1)P(w3|w2)P(w4|w3)...
由于，条件概率只用了一个参数，称为二元模型。
注意：这个公式是在假设条件下得出的，并不是完全准确。但够用就行啦
-- 继续求解：
因为，词语W(i)和W(i-1)是两个独立、互斥的事件，P(wi,wi-1)=P(wi)*P(wi-1)。
则：P(wi|wi-1) = P(wi,wi-1)/P(wi-1)
Ps: 我怎么习惯性地想起了贝叶斯公式。贝叶斯解决的是两个彼此影响、不独立的对象，这里是独立的词语啊。
P(wi,wi-1)：通过从语料库中去统计wi,wi-1两个词同时出现的频度。只要统计数量足够，由大数定律，这个频度就约等于它的真实概率；
P(wi-1)：继续统计P(wi-1)在同一批文本中单独出现的频度。同样，由大数定律，这个频度就约等于它的真实概率。
-- 问题解决，计算出整个句子出现的概率P(S)效果评估：
马尔可夫简化方式还是过于简单，实际上一个句子中的词语通常并不仅仅与它前面紧邻的一个词有关。因此，还需要改进。假设改进：假设当前词语与其前面最近的N个词语有关
这种假设被称为 N-1 阶马尔科夫假设，对应的语言模型被称为 N元模型。
症结：由于该方法的空间复杂度随N呈指数增长，决定了N不可能太大，否则计算机也无法计算。
现状：目前使用的模型中，通常 N=3，基本能够平衡模型准确度和资源占用、计算效率问题。马尔科夫假设方法的局限：
由于实际中有时存在段落间的相关性。这种方法存在天生缺陷：无法解决长程依赖性问题。其他：
后半部分还谈及了实际使用过程中遇到的：极低概率事件平滑、零概率问题等。
谈谈分词
示例：中国航天官员应邀到美国与太空总署的官员开会
以前的方法：
查字典：按照字典中的词语分类标识；
查字典优化：用更少的词语进行分类。-
郭进：用统计语言模型进行分词
第一种分词：
A1,A2,A3,A4,A5,A6....
第二种分词：
B1,B2,B3,B4,B5,B6....
第三种分词：
C1,C2,C3,C4,C5,C6....
……
第n种分词：
N1,N2,N3,N4,N5,N6....
因为句子固定、词语有限，一个句子的分词组合是有限的。因此，可以通过同样的概率计算方法，找出概率最大的那个分词方式就行了。
当然，这种穷举分词组合的方法计算量还是比较大，有个更讨巧的办法：看成动态规划问题，用维特比算法快速找到最佳分词方法。--细节问题1：对词语的定义不同
示例：北京大学 or 北京、大学
解决办法：在分词的同时，找到复合词的嵌套结构。先找出“北京大学”，再找出它的嵌套词“北京”、“大学”。--细节问题2：不同的应用场景，对词语的颗粒度要求不同
解决办法：根据自己的应用需求，建立专门的分词系统。--延伸：西方语言中是否有分词问题
答案：其实西方语言本身并没有分词的需求，只是在手写识别输入中需要用到，以自动识别空格。
