大师兄的贝叶斯网络学习笔记（三十六）：贝叶斯网络（十）

大师兄的贝叶斯网络学习笔记（三十五）：贝叶斯网络（九）
大师兄的贝叶斯网络学习笔记（三十六）：贝叶斯网络（十一）

七、缺值数据最大似然估计

1. EM算法的基本思想
1.1 例
  • 设图a是一个贝叶斯网络N，其中所有变量均取二值，1或2。
  • 设图b是从N的联合分布中抽样而得到的一组数据，它由两个完整样本D_1,D_2和两个缺值样本D_3,D_4组成。
  • 考虑用EM算法来近似计算N参数的MLE估计。
  • EM首先选择一组初始参数值\theta^0，如下所示：
  • 从\theta^0出发，EM开始迭代，在第一次迭代中，先用\theta^0修补数据。
  • 由于P(X_2=1|D_3,\theta^0)=4/5,P(X_2=2|D_3,\theta^0) =1/5，所以D_3被如下两个碎权样本替换：
  • D_{3.1}=(1,1,1)[\frac{4}{5}]
  • D_{3.2}=(1,2,1)[\frac{1}{5}]
  • 修补后得到如下的碎权完整数据：
  • 第一次迭代完成后的估计\theta^1如下：
  • EM接着进入第二次迭代，先用\theta^1对数据进行修补，由于：
  • P(X_2=1|D_3,\theta^1) = 81/82, P(X_2=2|D_3,\theta^1) = 1/82,
  • P(X_2=2 | D_4,\theta^1) = 1/82, P(X_2=2 |D_4,\theta^1) = 81/82。

  • 修补后的数据如下：


  • 于是，在第二次迭代完成后得到的估计\theta^2如下：
  • 如此迭代下去，可以看到这个过程快速地向如下结果收敛：
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容