笃行百天日志 - 026
人类信息交流的发展贯穿了人类的进化和文明的全过程。而自然语言是人类交流信息的工具，语言和通信的联系是天然的。通信的本质就是一个编解码和传输的过程。
1. 通信模型
让我们先来看一个典型的通信系统:当一个人(或者机器）发送信息时，他需要采用一种能在媒体中（比如空气、电线)传播的信号。
- 比如语音或者电话线的调制信号，这个过程是广义上的编码。
- 通过媒体传播到接收方，这个过程是信道传输。
- 在接收方，收听的人（或者机器）根据事先约定好的方法，将这些信号还原成发送者的信息，这个过程是广义上的解码。
这样，几乎所有的自然语言处理问题都可以等价成通信的解码问题。
2. 隐含马尔可夫模型
隐含马尔可夫模型（ Hidden Markov Model）其实并不是19世纪俄罗斯数学家马尔可夫（ Andrey Markov）发明的，而是美国数学家鲍姆（LeonardE.Baum）等人在20世纪六七十年代发表的一系列论文中提出的。
到了19世纪，概率论的发展从对（相对静态的）随机变量的研究发展到对随机变量的时间序列x1，x2，x3，…，xtr…，即随机过程（动态的）的研究。这在哲学的意义上，是人类认识的一个飞跃。但是，随机过程要比随机变量复杂得多。
比如，对于天气预报，硬性假定今天的气温只与昨天有关而和前天无关。当然这种假设未必适合所有的应用，但是至少对以前很多不好解决的问题给出了近似解。这个假设后来被命名为马尔可夫假设，而符合这个假设的随机过程则称为马尔可夫过程，也称为马尔可夫链。
隐含马尔可夫模型是上述马尔可夫链的一个扩展:任一时刻t的状态yt是不可见的。所以观察者没法通过观察到一个状态序列y1，y2，y3，yT来推测转移概率等参数。但是，隐含马尔可夫模型在每个时刻t会输出一个符号bt，而且bt和xt相关且仅和x相关。这个被称为独立输出假设。隐含马尔可夫模型的结构如下:其中隐含的状态x1，x2，x3是一个典型的马尔可夫链。这种模型被称为“隐含”马尔可夫模型。
再举一个经典的例子：
一个东京的朋友每天根据天气{下雨，天晴}决定当天的活动{公园散步,购物,清理房间}中的一种，我们每天只能在twitter上看到她发的推“啊，我前天公园散步、昨天购物、今天清理房间了！”，那么我们可以根据她发的推特推断东京这三天的天气。在这个例子里，可观察的输出是活动，隐含状态是天气。
隐含马尔可夫模型是一个并不复杂的数学模型，它成功地解决了复杂的语音识别、机器翻译等问题。当我们看完这些复杂的问题是如何通过简单的模型描述和解决时，会不得不由衷地感叹数学模型之妙。
100个基本之贰拾陆
常对自己投资。
为体验花钱。
不用贫穷的方法学习。
钱要用在丰富个人体验和感受上，这才算是为自己的投资。要带着给自己播下种子的意识使用金钱。给自己的投资有很多种类，学习就是其中之一。这种时候，千万不要吝啬金钱。大家思考的都是“怎样经济实惠地学习英语”，但真正要学习一件事，最快最直接的方式难道不该是毫不犹豫地花钱吗？
祝春安，李木子，
第026日，以上。
