语言模型笔记

参考n-gram：

https://blog.csdn.net/songbinxu/article/details/80209197

（n-gram、NNLM、RNNLM、word2vec）

本篇讲述语言模型及重要的几个概念，nlp基础补一下。

语言模型概念

LM（language model）

语言模型用来判断：是否一句话从语法上通顺。

通过概率来判断


链式法则CHAIN RULE

联合概率通过条件概率和边缘概率来表达


马尔科夫假设

Markov Assumption

是什么？


一件事情发生仅与最近的几次相关性大

为什么要用？

一个这么长的句子出现的次数肯定很少，导致概率稀疏性，也就是0.

也就是右边句子很长，概率大部分都是0.


解决：





最大似然估计

上面的p概率怎么计算？就是用MLE。


语言模型--unigram


语言模型--Bigram


语言模型--N-gram


unigram：Estimating Probability





评估语言模型

不依赖任何任务、场景





语言模型修正：平滑





语言模型修正：插值



©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容