![Avatar notebook default](https://cdn2.jianshu.io/assets/default_avatar/avatar-notebook-default-640f7dde88592bdf6417d8ce1902636e.png)
6篇文章 · 10622字 · 1人关注
(1)什么是分词?句子切出词。(2)分词的作用是什么?1:读音。2:信息检索。3:词频统计。种种,说白了就是让文章变成一个个词语,使得能够操作。...
最大熵模型: 前言引入: 如何理解最大熵模型,先从一个给预测值从 实数域到概率值 的转换 再用最大熵构造特征的思想的角度来理解最大熵模型。 考虑...
平滑技术:(1)把在训练语料中出现过的n元组的概率减少。(2)把减少的概率质量分配给训练语料中没有出现的n元组。 根据平滑技术是否是组合使用的分...
区分好 语言建模 和 语言模型。理解好 直接预测的问题:(1). 数据量需要庞大(为什么?)(2). 计算量庞大。如何解决这个问题?(1). 条...
马尔可夫模型简介: 马尔可夫模型个人认为这个概念应该是从 随机过程 里面提出来的,由马尔可夫过程过来的概念。实际上掌握了随机过程里面对马尔可夫过...
计算语言学的数学基础 信息论基础 1. 理解熵的最初提出 考虑以下的最优编码问题:有A,B两个站点要传输关于甲乙两个人是否在房间的信息,根据大量...
文集作者