Day 4 语言模型

语言模型

一段语言模型可以看成一个离散时间序列 N-gram

假设序列\omega_1, \omega_2,... \omega_T中的每个词是依次生成的，我们有

Formula

\hat{P}(\omega_1)=\frac{n(\omega_1)}{n}

\hat{P}(\omega_2|\omega_1)=\frac{n(\omega_1,\omega_2)}{n(\omega_1)}

n元语法

序列长度增加，计算和存储多个词共同出现的概率的复杂度会呈指数级增加。 𝑛元语法通过马尔可夫假设简化模型，马尔科夫假设是指一个词的出现只与前面 𝑛个词相关，即 𝑛阶马尔可夫链（Markov chain of order 𝑛n），如果 𝑛=1，那么有
𝑃(𝑤_3∣𝑤_1,𝑤_2)=𝑃(𝑤_3∣𝑤_2)
长度为4的序列𝑤_1,𝑤_2, 𝑤_3, 𝑤_4在一元语法（unigram）、二元语法（bigram）、三元语法（tigram）中的概率分别为
P(\omega_1,\omega_2,\omega_3,\omega_4)=P(\omega_1)P(\omega_2)P(\omega_3)P(\omega_4),
P(\omega_1,\omega_2,\omega_3,\omega_4)=P(\omega_1)P(\omega_2|\omega_1)P(\omega_3|\omega_2)P(\omega_4|\omega_3),
P(\omega_1,\omega_2,\omega_3,\omega_4)=P(\omega_1)P(\omega_2)P(\omega_3)P(\omega_4),

错题归纳

错题
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容