大师兄的贝叶斯网络学习笔记（五十九）：贝叶斯网络（三十三）

大师兄的贝叶斯网络学习笔记（五十八）：贝叶斯网络（三十二）
大师兄的贝叶斯网络学习笔记（六十）：贝叶斯网络（三十四）

九、隐结构模型学习

5. 多层隐类模型
5.1 走根运算与模型等价
  • 设X_1是一个HLC模型G_1的根节点，X_2是X_1的一个子节点。
  • 如果X_2是隐变量，那么可以转换边X_1->X_2的方向而得到另一个HLC模型G_2。
  • 此时，模型的根从X_1走到了X_2，因此从G_1到G_2的过程称为走根(root walking)。
  • 定理：设G_1和G_2是两个HLC模型。如果G_2可以从G_1出发经过一次或多次走根而得到，那么G_1和G_2显像等价。
  • 证明：
  • 不失一般性，设G_2是从G_1经过一次走根得到的，首先证明G_1和G_2显象分布等价。
  • 设G_1和G_2的根分别为X_1和X_2，并分别用Y和Z记模型中所有显变量和所有变量的集合。
  • 对于G_1的任一参数值\theta_1，定义G_2的参数值\theta_2为：
    P(X_2 \mid \mathscr{G}_2, \boldsymbol{\theta}_2) = \sum_{X_1} P(X_1 \mid \mathscr{G}_1, \boldsymbol{\theta}_1) P(X_2 \mid X_1, \mathscr{G}_1, \boldsymbol{\theta}_1)
  • P(X_1 \mid X_2, \mathscr{G}_2, \boldsymbol{\theta}_2) = \frac{P(X_1 \mid \mathscr{G}_1, \boldsymbol{\theta}_1) P(X_2 \mid X_1, \mathscr{G}_1, \boldsymbol{\theta}_1)^{\mathbb{O}}}{P(X_2 \mid \mathscr{G}_2, \boldsymbol{\theta}_2)}
  • P(Z \mid \pi(Z), \mathscr{G}_2, \boldsymbol{\theta}_2) = P(Z \mid \pi(Z), \mathscr{G}_1, \boldsymbol{\theta}_1), \forall Z \in \mathbf{Z} \text{ 且 } Z \neq X_1, X_2
  • 不难看出P(\mathbf{Z} \mid \mathscr{G}_1, \boldsymbol{\theta}_1) = P(\mathbf{Z} \mid \mathscr{G}_2, \boldsymbol{\theta}_2)
  • 从而P(\mathbf{Y} \mid \mathscr{G}_1, \boldsymbol{\theta}_1) = P(\mathbf{Y} \mid \mathscr{G}_2, \boldsymbol{\theta}_2)
  • 所以G_2显像包含G_1，由于对称性，G_1也显像包含G_2，于是，G_1和G_2显像分布等价。
  • 另一方面，除了X_1和X_2的概率分布以外，G_1和G_2的其它参数完全一样，而\{P(X_1|G_1,\theta_1),P(X_2|X_1,G_1,\theta_1)与\{P(X_2|G_2,\theta_2),P(X_1|X_2,\G_2,\theta_2)\}均蕴含|X_1||X_2|-1个独立参数。
  • 因此G_1与G_2具有相同的标准维数，所以它们显像等价。
  • 上图所示的HLC模型中，如果模型的根从X_1走到X_2，就得到a模型；
  • 如果模型的根走到X_3就得到b中的模型。
  • 根据定理，这两个模型的模型显像等价。
  • 一般地讲，HLC模型的根走到任何一个隐节点都得到一个与原模型显像等价的模型。
  • 这就意味着不可能通过数据分析决定HLC模型的根。
  • 换句话说，HLC模型的根是不可分辨的，这一特殊的不可分辨性称为HLC模型的根不可分辨性(unidentifiability of root)。
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

友情链接更多精彩内容