概率图模型

概率图模型（Probabilistic Graphic Model），能够很好地挖掘潜在的内容。

概率图中地节点分为隐含节点和观测节点，边分为有向边和无向边。从概率论的角度，节点对应于随机变量，边对应于随机变量的依赖或相关关系，其中有向边表示单向的依赖，无向边表示互相依赖。

概率图模型分为贝叶斯网络（Bayesian Network）和马尔可夫网络（Markov Network）两大类。贝叶斯用有向图结构表示，马尔可夫网络用无向图的网络结构表示。

概率图模型包含朴素贝叶斯模型、最大熵模型、隐马尔可夫模型、条件随机场、主题模型等等。

贝叶斯联合概率分布

左边为贝叶斯网络，右边为马尔可夫网络

贝叶斯网路和马尔可夫网络

由图可见，在给定A的条件下，B和C是条件独立的，基于条件条件概率的定义可得

P(C|A,B)=\frac{P(B,C|A)}{P(B|A)}=\frac{P(B|A)P(C|A)}{P(B|A)}\\=P(C|A)

同理，在给定B和C的条件下，A和D是条件独立的，可得

P(D|A,B,C)=\frac{P(A,D|B,C)}{P(A|B,C)}=\frac{P(A|B,C)P(D|B,C)}{P(A|B,C)}\\=P(D|B,C)

上面两个式子可联合概率

P(A,B,C,D)=P(A)P(B|A)P(C|A,B)P(D|A,B,C)\\=P(A)P(B|A)P(C|A)P(D|B,C)

马尔可夫联合概率分布

在马尔可夫网络中，联合概率分布的定义如下：
$P(x)=\frac{1}{Z}\prod_{Q\in C}\varphi_Q(x_Q)$
其中C为图中最大团所构成的集合， $Z=\sum_x\prod_{Q\in C}\varphi_Q(x_Q)$ 为归一化因子，用来保证P(x)是被正确定义的概率， $\varphi_Q$ 是与团Q对应的势函数，势函数非负，并且应该在概率较大的变量上取得较大的值，例如指数函数
$\varphi_Q(x_Q)=e^{-H_Q(x_Q)}$
其中
$H_Q(x_Q)=\sum_{u,v\in Q,u\neq v}\alpha_{u,v}x_ux_v+\sum_{v\in Q}\beta_vx_v$
对于图中所有节点 $x=\{x_1,x_2,..,x_n\}$ 所构成的一个子集，如果这个子集中，任意两点之间都存在边相连，则这个自己的所有节点构成一个团。如果在这个子集中加入其他任意节点，都不能构成团，我们称这样的子集构成一个最大团。左边为贝叶斯网络，右边为马尔可夫网络