前言

如果你能找到这里，真是我的幸运~这里是蓝白绛的学习笔记，本集合主要针对《百面机器学习——算法工程师带你去面试》这本书。主要记录我认为重要的知识点，希望对大家有帮助。

第六章 概率图模型

引导语

概率图中的节点分为隐含节点和观测节点，边分为有向边和无向边。从概率论的角度，节点对应于随机变量，边对应随机变量的依赖或相关关系，其中有向边表示单向的依赖，无向边表示相互依赖关系。
概率图模型分为贝叶斯网络和马尔可夫网络两大类。贝叶斯网络可以用一个有向图结构表示，马尔可夫网络可以表示成一个无向图的网络结构。
概率图模型包括了朴素贝叶斯模型、最大熵模型、隐马尔可夫模型、条件随机场、主题模型。

0、写在前面

书中本章公式较多，这里我尽量少写一点公式，尽量摘抄文字表述，方便阅读。这一篇为第六章的第一部分，包括朴素贝叶斯模型、最大熵模型、隐马尔可夫模型、最大熵马尔可夫模型、条件随机场。第二部分再整理主题模型，包括pLSA和LDA。

1、概率图模型的联合概率分布

1. 贝叶斯网络和马尔可夫网络两大类网络的联合概率分布计算如下图：
   两种网络的联合概率分布

2、概率图表示

1. 朴素贝叶斯模型的原理：朴素贝叶斯模型通过预测指定样本属于特定类别的概率来预测该样本的所属类别，即。可以写成其中以及可以通过统计训练样本得到。可以看到后验概率取值决定了分类的结果，并且特征都由取值所影响。
2. 最大熵原理是概率模型学习的一个准则，指导思想是在满足约束条件的模型集合中选取熵最大的模型，即不确定性最大的模型。
3. 给定离散随机变量和上的条件概率分布，定义在条件概率分布上的条件熵为其中为样本在训练数据集上的经验分布，即的各个取值在样本中出现的频率统计。最大熵模型的目的是要学习到合适的分布，使得条件熵取值最大。
   在对训练集一无所知时，最大熵模型认为是均匀分布的。我们希望从训练集中找到一些规律，消除一些不确定性，则用到特征函数，它描述了输入和输出之间的一个规律。
   为了使学习到的模型能够正确捕捉规律，我们加入如下约束： 即特征函数关于经验分布的期望等于特征函数关于模型和经验分布的期望。
   则给定训练集和个特征函数，则最大熵模型的学习等价于约束最优化问题：
   求解得到最大熵模型的表达式为：
   最终，最大熵模型归结为学习最佳的参数，使得最大化。

3、生成式模型与判别式模型

1. 生成式模型与判别式模型的区别：假设可观测到的变量集合为，需要预测的变量集合为，其他变量集合为。

• 生成式模型：对联合概率分布进行建模，在给定的观测集合的条件下，通过计算边缘分布来得到对变量集合的推断，即。
• 判别式模型：直接对条件概率分布进行建模，然后消掉无关变量就可以得到对变量集合的预测，即。

2. 常见的概率图模型有：朴素贝叶斯、最大熵模型、贝叶斯网络、隐马尔可夫模型、条件随机场、pLSA、LDA等。

• 生成式模型有：朴素贝叶斯、贝叶斯网络、pLSA、LDA、隐马尔可夫模型。
• 判别式模型有：最大熵模型、条件随机场。

4、马尔可夫模型

1. 马尔可夫过程：满足无后效性的随机过程。时刻的状态只与前一个状态有关，则其称为马尔可夫过程，时间和状态的取值都是离散的马尔可夫过程也成为马尔可夫链。

2. 隐马尔可夫模型是对含有未知参数(隐状态)的马尔可夫链进行建模的生成模型，如下图所示：

   
   
   6-4 隐马尔可夫模型

• 在简单的马尔可夫模型中，所有状态对于观测者都是可见的，因此在马尔可夫模型中仅仅包括状态间的转移概率。
• 在隐马尔可夫模型中，隐状态对观测者是不可见的，观测者只能观测到每个隐状态对应的输出，而观测状态的概率分布仅仅取决于对应的隐状态。

3. 隐马尔可夫模型中，参数包括了隐状态间的转移概率、隐状态到观测状态的输出概率、隐状态的取值空间、观测状态的取值空间以及初始状态的概率分布。
4. 隐马尔可夫模型包括概率计算问题、预测问题、学习问题三个基本问题：

• 概率计算问题：已知模型所有参数，计算观测序列出现的概率，可使用前向和后向算法求解。
• 预测问题：已知模型所有参数和观测序列，计算最可能的隐状态序列，可使用经典的动态规划算法——维特比算法来求解最可能的状态序列。
• 学习问题：已知观测序列，求解使得该观测序列概率最大的模型参数，包括隐状态序列、隐状态之间的转移概率分布以及从隐状态到观测状态的概率分布，可使用Baum-Welch算法(最大化期望算法的一个特例)进行参数学习。

5. 隐马尔可夫模型和最大熵马尔可夫模型：隐马尔可夫模型等用于解决序列标注的模型中，常常对标注进行了独立性假设，时刻的状态只与前一个状态有关，观测序列中各个状态仅仅取决于它对应的隐状态。但实际上，隐状态不仅和单个观测状态相关，还和观测序列的长度、上下文等相关，于是引出了最大熵马尔可夫模型(Maximum Entropy Markov Model，MEMM)。它去除了隐马尔可夫中观测状态相互独立的假设，考虑了整个观测序列，获得了更强的表达能力。

• 隐马尔可夫模型是一种对隐状态序列和观测状态序列的联合概率进行建模的生成式模型。
• 最大熵马尔可夫模型是直接对标注后的后验概率进行建模的判别式模型。

6. 最大熵马尔可夫模型的标注偏置问题：如图6.7所示，状态1倾向于转移到状态2，状态2倾向于转移到状态2自身，但实际计算得到的最大概率路径为1-1-1-1。这是因为2可以转移到1、2、3、4、5，但1只能转移到1、2，概率更加集中。由于局部归一化的影响，隐状态对倾向于转移到后续状态更少的状态，以提高整理的后验概率。
   
   6-4 最大熵马尔可夫的标注偏置问题
7. 条件随机场和最大熵马尔可夫模型：条件随机场(Conditional Random Field，CRF)在最大熵马尔可夫模型的基础上，进行了全局归一化，如下图所示。
   
   6-4 条件随机场模型
   
   条件随机场建模如下：其中归一化因子是在全局范围进行归一化，枚举了整个隐状态序列的全部可能，从而解决了局部归一化带来的标注偏置问题。

5、主题模型

1. 常见的主题模型有：pLSA、LDA等。pLSA是用一个生成模型来建模文章的生成过程，LDA是pLSA的贝叶斯版本，其文本生成过程与pLSA基本相同，但其为主题分布和词分布分别加了两个狄利克雷(Dirichlet)先验。

小结

这节讲了几个概率图模型，主要讲了思想以及模型的定义。具体求解涉及到动态规划，最大期望算法，书里只是一笔带过了。这本书越到后面东西越多也越来越难了，小白表示有点吃不消了，所以今天这一章的内容打算分两篇来整理。

结尾

如果您发现我的文章有任何错误，或对我的文章有什么好的建议，请联系我！如果您喜欢我的文章，请点喜欢~*我是蓝白绛，感谢你的阅读！