一、语言模型
1、什么是语言模型
语言模型就是计算条件概率的模型。
其中w1,w2,…,wn−1是句子中的前n−1个词（或字），wn是第n个词（或字）。
2、如何计算语言模型
即如何计算这个条件概率呢？
1、统计+平滑（工具实现：kenlm）
2、最大熵语言模型
3、CRF语言模型
4、神经网络模型
神经网络模型的大概思路是：p(wn|w1,w2,…,wn−1)是关于w1,w2,…,wnw1,w2,…,wn的一个函数，但是这个函数的具体形式我不知道，所以利用神经网络去拟合它，为了更好地拟合，并且减少模型参数，还把词语“嵌入”到实数空间中（one-hot的方式参数太多又稀疏所以用嵌入式表示为短向量），用短向量来表示词语，跟语言模型一起训练。从这个角度看，词向量只是语言模型的副产品。
二、基于字的语言模型进行分词
1、分词-最优切分路径-最大路径概率
分词的过程就是寻找最优切分路径的过程，路径概率最大的切分方式就是最优分词结果。
路径概率
一个长度为l的字符串s1,s2,…,sl，一种分词结果为w1,w2,…,wm，那么这种切分方式的路径概率计算为：概率乘积p(w1)p(w2)…p(wm)。
最大路径概率对应最优切分路径，对应最优分词。
2、如何计算路径概率？
我们既然要找到路径概率最大的切分方式，那路径概率p(w1)p(w2)…p(wm)怎么算呢？
贝叶斯展开求解最优路径，转化为语言模型即条件概率。
假如字符串s1,s2,s3…,sl，
A、如果不进行切分，那么它的路径概率应该是：
p(s1)p(s2)p(s3)…p(sl)
B、如果s1,s2应该合并为一个词，那么它的路径概率是：
p(s1s2)p(s3)…p(sl)=p(s1)p(s2|s1)p(s3)…p(sl)
C、如果s2,s3应该合并为一个词，那么它的路径概率是：
p(s1)p(s2s3)…p(sl)=p(s1)p(s2)p(s3|s2)…p(sl)
D、如果s1,s2,s3应该合并为一个词，那么它的路径概率是：
p(s1s2s3)…p(sl)=p(s1)p(s2|s1)p(s3|s1s2)…p(sl)
按照经验，词的平均长度不会很大，因此，我们只需要用n-gram语言模型就够了，其中n为4时效果就挺不错了。（只需要算unigram,2-gram,3-gram和4-gram即可）。
所以路径概率就是条件概率相乘。我们只需要提前算出来所有n-gram的概率，然后再结合切分路径去计算路径概率，路径概率最大的那个就是最优切分。（这个过程我们要借助viterbi算法来做）
3、具体分词时怎么操作
将分词转化为字标注问题
如果字语言模型取到4-gram，那么它相当于做了如下的字标注：
按照经验，词的平均长度不会很大，因此，我们只需要用n-gram语言模型就够了，其中n为4时效果就挺不错了。（只需要算unigram,2-gram,3-gram和4-gram即可）。
b：单字词或者多字词的首字
c：多字词的第二字
d：多字词的第三字
e：多字词的其余部分
想一想，是不是文本中每个字都会被标注为b，c，d，e的一种呢，而且对于超过4个字的长词也可以标注，比如‘克里斯汀·迪奥’，会被标注为'bcdeeee'。
所以，对于分词问题：
第一步：计算每个字分别被标注为b,c,d,e的概率；
第二步：用viterbi算法来寻找最优标注路径。
注意不是说某个词被标注为b的概率最大就一定会被标注为b，因为对于分词的标注有它自己的标注规则，比如b后面只能跟b和c，不能跟d和e吧，c后面只能跟d和b等等。所以用viterbi算法来寻找最优标注路径。
那第一步，如何去计算每个字分别被标注为b,c,d,e的概率呢？
具体怎么算：
1、训练语言模型比如用统计+平滑的方式计算语言模型，选用工具kenlm来训练。这个工具可以得到grams的联合概率，如p(a)，p(b)，p(c)，p(ab)，p(bc)，p(adc)。
2、计算条件概率即语言模型。
根据贝叶斯公式，就可以算出条件概率。如p(b/a)=p(ab)/p(a)
3、条件概率即是每个字被标注为b，c，d，e的概率值。
第二步，viterbi算法计算时，需要状态转移概率，即b,c,d,e之间的转移概率。结合刚才说的一些规则，不为0的转移概率如下：
p(b|b),p(c|b),p(b|c),p(d|c),p(b|d),p(e|d),p(b|e),p(e|e)
这些转移概率的取值可以统计获得，经验设定。
已知转移概率、条件概率(对应HMM中发射概率)，代入viterbi算法，就可以得到最优切分路径。
为啥说条件概率对应HMM中的发射概率呢？
因为每个字的标注概率b,c,d,e的计算公式是条件概率，而发射概率本身的意思就是在字预测为b,c,d,e的概率。所以两者是一个东西。
三、代码实现
基于语言模型的无监督分词算法实现，见WordSegWithNgram
