大师兄的贝叶斯网络学习笔记（七）：贝叶斯网络（二）

大师兄的贝叶斯网络学习笔记（六）：贝叶斯网络（一）
大师兄的贝叶斯网络学习笔记（八）：贝叶斯网络（三）

二、条件独立与联合分布的分解

  • 自20世纪80年代以来，概率方法重新在人工智能和专家系统的研究中获得重视，并逐渐占据主导地位。
  • 因为人们发现，利用变量间的条件独立关系可以将联合分布分解成多个复杂度较低的概率分布，从而降低模型表达的复杂度，提高推理效率，使人们可以应用概率方法来解决大型问题。
  • 继续上个案例：运用链规则，可以把联合概率分布P(B,E,A,J,M)表示为P(B,E,A,J,M)=P(B)|P(E|B)P(A|B,E)P(J|B,E,A)P(M|B,E,A,J)
  • 这一步并没有降低模型的复杂度，因为等式右侧的5个概率分布仍然包括同联合分布相同个数的独立参数。
  • 但是，它使我们可以根据问题的背景知识做一些合理的独立假设以降低复杂度。
  • 例如地震(E)应与盗窃(B)无关，于是假设E与B相互独立，即P(E|B)=P(E)，这样就把P(E|B)简化为P(E)
  • 此外，John(J)和Mary(M)是否打电话直觉取决于他们是否能听到警铃(A)，所以可以假设给定A时，J与B和E，以及M与J、B和E都相互独立，即P(J|B,E,A)=P(J|A)和P(M|B,E,A,J)=P(M|A)
  • 将这些独立假设放在一起，得P(B,E,A,J,M)=P(B)P(E)P(A|B,E)P(J|A)P(M|A)
  • 这样就把联合分布P(B,E,A,J,M)分解成了若干个复杂度较低的概率分布的乘积，模型的复杂度得到了降低。
  • 更一般地，考虑一个包含n各变量的联合分布P(X_1,...,X_n)，利用链规则可以写为P(X_1,...,X_n)=P(X_1)P(X_2|X_1)...P(X_n|X_1,X_2,...,X_{n-1})=\prod^n_{i=1}P(X_i|X_1,X_2,...,X_{i-1})
  • 对于认为X_i，如果使给定\pi(X_i),X_i与\{X_1,...,X_{i=1} \}中的其它变量条件独立，即P(X_i|X_t,...X_{i=1})=P(X_i|\pi(X_i))
  • 那么有P(X_1,...,X_n)=\prod^n_{i=1}P(X_i|\pi(X_i))
  • 这样就得到了一个联合分布的一个分解，其中当\pi(X_i)=\phi时，P(X_i|\pi(X_i))为边缘分布P(X_i)。
  • 假设对任意的X_i,\pi(X_i)最多包含m个变量，当所有变量均取二值时，公式有段所含的独立参数最多为n2^m个。
  • 相对于原来确定联合分布所需的2^n-1个参数来说，条件独立使模型得到了简化，这在变量数目n很大且m<<n时效果更为显著。
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容