大师兄的贝叶斯网络学习笔记（四十）：贝叶斯网络（十四）

大师兄的贝叶斯网络学习笔记（三十九）：贝叶斯网络（十三）
大师兄的贝叶斯网络学习笔记（四十一）：贝叶斯网络（十五）

七、缺值数据贝叶斯估计

8. 参数学习

回到贝叶斯网络 $N=(G,\theta)$ 的参数做贝叶斯估计的问题，当数据完整时，贝叶斯估计可以用公式计算。
当数据有缺值时，似然函数没有计算贝叶斯估计的闭公式。
在实际中，人们往往采用近似方法，其中一种最简单的近似方法，即碎权更新(fractional updating)。
碎权更新首先设先验概率分布 $p(\theta)$ 是乘积狄利克雷分布，然后按一定顺序逐个处理数据样本。
在处理下一个样本时，它先利用当前估计对样本进行修补，得到一组碎权完整样本，然后用这些样本将θ的估计更新。
在整个过程中，对θ的估计不断变化，但始终是乘积狄利克雷分布。
假设已处理完样本 $D_1,D_2,...D_l$ 得到 $p(\theta|D_1,D_2,...,D_l)$ 的一个近似，它是一个乘积狄利克雷分布。

参数为 $a^l=\{ a^l_{ijk}|i=1,...,n;j=1,...,q_i;k=1,...,r_i \}$ 。

基于这个估计，先计算下一个样本 $d_{l+1}$ 的分布 $P(D_{l+1}|D_1,D_2,...,D_l)$ 。

$P(D_{l+1}|D_1,...,D_l)$ 可以用贝叶斯网 $N^l=(G,\theta^l)$ 来表示，其中 $\theta^l_{ijk}=\frac{a^l_{ijk}}{\sum^{r_i}_{k=1}a^l_{ijk}}$ 。

其中 $N^l$ 的参数 $\theta^l_{ijk}$ 是固定的取值，而N的参数 $\theta_{ijk}$ 是固定的取值，而N的参数 $\theta_{ijk}$ 是随机变量。

为方便起见，将分布 $P(D_{l+1}|D_1,...,D_l)$ 记作 $P^l$ 。

设 $X_{l+1}$ 为 $D_{l+1}$ 中所有缺值变量的集合。

考虑 $X_{l+1}$ 的某一取值 $x_{l+1}$ 。

根据当前的估计， $X_{l+1}=x_{l+1}$ 的概率是 $P^l(X_{l+1=x_{l+1}})$ 。

于是，对 $D_{l+1}$ 进行修补，的碎权完整数据 $(D_{i+1},X_{l+1}=x_{i+1})[P^l(X_{l+1}=x_{l+1})]$ 。

用这样的补后数据通过公式将 $p(\theta|D_1,...,D_l)$ 更新，得到另一个乘积狄利克雷分布，其参数 $a^{l+1}$ 为 $a^{l+1}_{ijk}=a^l_{ijk}+P(X_i=k,\pi(X_i)=j|D_1,...,D_{l+1})$

1. 例

图中所示的贝叶斯网络N和数据D，用碎权更新计算N的参数的贝叶斯估计。
首先假设先验分布 $p(\theta)$ 是乘积狄利克雷分布，其超参数 $a^0$ 如下：

从 $a^0$ 出发，首先考虑第一个样本 $D_1=(1,1,1)$ 。是完整的，不需要修补，用 $D_1$ 更新 $p(\theta)$ ，得到 $p(\theta|D_1)$ 。
它也是一个乘积狄利克雷分布，其超参数 $a^1$ 如下：

接下来考虑 $D_2=(2,2,2)$ ，也是完整的，不需要修补。
用它更新 $p(\theta|D_1)$ ，得到 $p(\theta|D_1,D_2)$ ，它也是一个乘积狄利克雷分布，其超参数 $a^2$ 如下：

接下来考虑 $D_3=(1,-,1)$ ，其中 $X_2$ 值缺，需要修补。
为次考虑 $P(D_3|D_1,D_2)$ ，它可表示乘一个贝叶斯网络 $G,\theta^2$ ，其参数如下：

易见 $P(X_2=1|D_3,\theta^2)=\frac{4}{5},P(X_2=2|D_3,\theta^2)=frac{1}{5}$ 。
所以得到如下碎权完整样本： $D_3=(1,1,1)[\frac{4}{5}],D_{3.2}=(1,3,1)[\frac{1}{5}]$ 。
用这两个样本更新 $p(\theta|D_1,D_2)$ ，得到 $p(\theta|D_1,D_2,D_3)$ ，也是乘积狄利克雷分布，其超参数 $a^3$ 如下：

最后考虑 $D_4=(2,-,2)$ ，其中 $X_2$ 值缺，需要修补。
为此，考虑 $P(D_4|D_1,D_2,D_3)$ ，它可以表示成一个贝叶斯网络 $(G,\theta^2)$ ，其参数如下：
易见 $P(X_2=1|D_4,\theta^3)=frac{4}{23},P(X_2=2|D_4,\theta^3)=\frac{19}{23}$ 。
所以得到如下碎权完整样本 $D_{4.1}=(2,1,2)[\frac{4}{23}],D_{4.2}=(2,2,2)[\frac{19}{23}]$ 。
用这两个样本更新 $p(\theta|D_1,D_2,D_3)$ ，得到(p(\theta|D_1,D_2,D_3,D_4))，也是乘积狄利克雷分布，其超参数 $a^4$ 如下：