大师兄的贝叶斯网络学习笔记（四十一）：贝叶斯网络（十五）

大师兄的贝叶斯网络学习笔记（四十）：贝叶斯网络（十四）

八、结构学习

1. 似然函数与模型选择

• 参数学习假设已知变量间的定性关系，通过数据分析揭示变量间的定量关系。
• 结构学习则是要同时揭示变量间的定性和定量关系。一般分两步讨论：

• 模型选择(model selection)：用什么样的准则来评判不同模型结构之优劣。
• 模型优化(model optimization)：把最优的模型结构找出来。

1. 似然函数与模型选择

• 设为一组随机变量，是关于这些变量的一组数据，这里关心的是如何找出一个相对于D在某意义下最优的贝叶斯网络。
• 设G是一个以为节点的贝叶斯网络结构。
• G相对于数据D的优劣可以用一个评分函数(scoring function)来度量：

• 最优参数对数似然函数(parameter maximized loglikelihood function)是一个基于似然函数的评分准则，简称优参对数似然函数。
• 在贝叶斯框架下，推出另一个称为评分的准则。
• 在大样本的前提下得到第三个准则，即评分。

• 结构G与相应的参数集合组成贝叶斯网络，这里给θ加下标石因为不同的网络结构对应不同的参数集合。
• 在贝叶斯网络中，可以计算每一个样本的概率，从而在I.I.d的假设下，可以计算。
• 在参数学习中，网络结构G已知，这就是参数向量的对数似然函数。
• 根据最大似然估计原则，相对于数据D最优的参数值应该使达到最大，即。
• 在结构学习中，网络结构G和网络参数都是需要确定的对象。
• 于是可以将视为二元组的对数似然函数，记为。
• 将最大似然函数估计原则加以推广，得到如下原则：相对数据D最优的贝叶斯网络应该是对数似然函数达到最大，即。
• 在概念上，寻找最优贝叶斯网络的2过程可以分成两步：

• 第一步寻找最优结构
• 第二步优化参数，为刻画第一步所使用的准则，对任一网络结构G，定义。

• 作为网络结构G的函数，称为优参对数似然函数。最优结构应该使优参对数似然函数达到最大，即，称为最大优惨似然准则。