大师兄的贝叶斯网络学习笔记（三十三）：贝叶斯网络（七）

大师兄的贝叶斯网络学习笔记（三十二）：贝叶斯网络（六）
大师兄的贝叶斯网络学习笔记（三十四）：贝叶斯网络（八）

六、一般网络贝叶斯估计

在贝叶斯估计的框架中，要对贝叶斯网络 $N = (G,\theta)$ 的参数进估计，首先要视θ为随机变量，并把关于θ的先验知识表示成一个先验概率分布P(θ).
要计算的是在观测到i.i.d完成数据 $D=(D_1,D_2,...,D_M)$ 以后，θ的后验概率分布 $p(\theta |D)$ ，以及下一个样本 $D_{m+1}$ 的概率分布 $P(D_{m+1}|D)$ 。
个不好意θ的对数似然函数与充分统计量 $m_{ijk}$ 的关系可知，θ的似然函数为 $L(\theta|D)=\prod^n_{i=1}\prod^{G_I}_{j=1}\prod^{r_i}_{K=1}\theta^m_{ijk}_{ijk}$ 。
根据贝叶斯公式 $p(\theta|D)\propto p(\theta)\prod^n_{i=1}\prod^{G_I}_{j=1}\prod^{r_i}_{K=1}\theta^m_{ijk}_{ijk}$
为了便于计算，需要对先验概率分布 $p(\theta)$ 做一些假设，在假设之前，需要引入两个新的符号：

已知θ是所有参数组成的向量， $\theta=\{ \theta_{ijk}|i=1,...,n;j=1,...,q_i;k=1,...,r_i \}$ 。

用 $\theta_{ij}$ 记由 $\theta_{ij1},\theta_{ij2},...,\theta_{ijr_i}$ 所组成的子向量。

$\theta_i$ 包括所有关于变量 $X_i$ 的条件概率分布 $P(X_i|\pi(X_i))$ 的参数。

而 $\theta_{ij.}$ 表示所有关于分布 $P(X_i|\pi(X_i)=j)$ 的参数。

关于 $p(\theta)$ 需要做如下3个假设：

假设1：全局独立(global independence)假设：关于不同变量 $X_i$ 的参数相互独立，即 $p(\theta)=\prod^n_{i=1}p(\theta_{i**})$ 。

假设2：局部独立(local independence)假设：给定一个变量 $X_i$ ，对英语 $\pi(X_i)$ 的不同取值的参数相互独立，即 $p(\theta_{i**})=\prod^n_{i=1}p(\theta_{ij.})$ 。

假设3： $p(\theta_{ij.})$ 是狄利克雷分布 $D[a_{ij1},a_{ij1},...,a_{ijr_1}]$

根据上述3个假设，有 $p(\theta)=\prod^n_{i=1}p(\theta_{i**})=\prod^n_{i=1}\prod^{q_i}_{j=1}p(\theta_{ij.})\propto\prod^n_{i=1}\prod^{q_i}_{j=1}\prod^{r_i}_{k=1}\theta^{m_{ijk}+a_{ijk}-1}_{ijk}$ 。
这即是说，后验分布 $p(\theta|D)$ 也是一个乘积狄利克雷分布， $p(\theta|D)$ 也具有全局和局部独立性，并且 $p(\theta_{ij.}|D)$ 是狄利克雷分布 $D[m_{ij1}+a_{ij1},m_{ij2}+a_{ij2},...,m_{ijr_i}+a_{ijr_i}]$ 。
接下来考虑下一个数据样本 $D_{m+1=(\X_1,X_2,...,X_n)}$ 的概率分布$$P(D_{m+1}|D)。

首先有 $P(D_{m+1}|D)=\inf P(D_{m+1}|\theta)p(\theta|D)d\theta$ 。

而 $P(D_{m+1}|\theta)=\prod^n_{i=1}P(X_i|\pi(X_i),\theta_{i**})$ 。

另一方面，由于 $p(\theta|D)$ 具有全局独立性，有 $P(\theta|D)=\prod^n_{i=1}p(\theta_{i**}|D)$ 。
所以 $P(D_{m+1}|D=\prod^n_{i=1}P(X_i|\pi(X_i),D))$ ，这表示 $P_D{m+1}|D$ 是G可分解的，因此可以表示为一个以G为结构的贝叶斯网络。
用 $\theta'$ 表示这个贝叶斯网络的参数 $\theta'=\{ \theta'_{ijk}|i=1,...,n;j=1,...,q_i;k=1,...,r_i \}$ 。
最终有 $P(D_{m+1}|D) = \prod^n_{i=1}\prod^{G_i}_{j=1}\prod^{r_i}_{k=1}\chi (i,j,k:D_{m+1})\frac{m_{ijk}+a_{ijk}}{\sum^{r_i}_{k=1}(m_{ijk+a_{ijk}})}$ 。

最后编辑于：2026.03.20 15:17:38

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

大师兄的贝叶斯网络学习笔记（三十三）：贝叶斯网络（七）

大师兄的贝叶斯网络学习笔记（三十三）：贝叶斯网络（七）

六、一般网络贝叶斯估计

相关阅读更多精彩内容

友情链接更多精彩内容