语言是一种符号，符号承载着信息。谈到信息学，虽然没来得及将香农的理论都过一遍，但是我知道熵是其中很重要的概念，描述一个随机变量不确定性大小，熵越大则不确定性越大，这种不确定信是需要消除的。可能类似于数据的去噪。后现代时期，信息呈现大面极的碎片化，有太多重复和无意义的数据样本。熵有联合熵、条件熵和互信息。
联合熵是描述两个随机变量所需要的信息量，大于等于其任一。互信息描述两个随机变量的相关性，已知其中一个后一个的不确定性就会减少。条件熵是已知其中一个变量后另一个变量的不确定性。相对熵，涉及随机分布（）有些不理解。交叉熵是很重要的概念，和损失函数有关，用来评估model和real distribution之间的差异，交叉熵越小model越有效。
(关于乔姆基斯的语法理论，已买书，之后记录读后感。)
语言是否可以用状态机来模型化，可以的，不过基于统计的模型是很肤浅的，因为仅仅将语言视为一种符号，语言可以视化一种符号，但这只是一个视角。如果从人工智能的角度来说，状态就应该是一个人的状态，比如状态中就有这个人的潜意识、知觉、感觉、知识量、表达欲以及真实表达等属性吧。仅仅依靠语法和语义来定义语言我认为是及其肤浅的。所以关于语言的本质，还要再了解（《A Introduction To Language》一定要看起来）。
语料库的建立，我还是认为，和对数学的理解有关，数字，以及关系。数学某种意义上可以理解为对……万事万物（?）关系的一种抽象吧。
Chatbot 4:Viv还蛮有趣的。http://breezedeus.github.io/2016/09/01/breezedeus-viv-ai-chatbots-generator.html
可作了解。
关于已有算法的重点学习，还是在于已有的语言模型。
这个需要逐一了解概念、推演、以及实现代码。对语言模型的理解，就是对于现有的语料库训练，以做出一些类AI的程序吧。还是实践出真知……就是从现有的数据中去提炼，看最终能搞出一个什么来。这也是现在AI领域云遮雾绕的原因之一。AI领域会在这个过程不断和其余的领域结合在一起的。不过这离自然语言就扯远了。
……
每个模型我还是动手理理关系图，先理出结构来，然后演算，代码实现。注意自己的目标，是自然语言处理，计算语言学，语言学，围绕的关键词始终要是对语言的思考。
自然语言处理随笔（一）
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 本系列第三篇，承接前面的《浅谈机器学习基础》和《浅谈深度学习基础》。 自然语言处理绪论 什么是自然语言处理？ 自然...
- 层次化的隐马尔可夫模型 在自然语言处理等应用中，由于处理序列具有递归特性，尤其当序列长度比较大时，HMM的复杂度将...
- 命名实体识别 命名实体的提出源自信息抽取问题，即从报章等非结构化文本中抽取关于公司活动和国防相关活动的结构化信息，...
- 摘要：在深度学习之前已经有很多生成模型，但苦于生成模型难以描述难以建模，科研人员遇到了很多挑战，而深度学习的出现帮...
