机器学习笔记（13）：贝叶斯学习（3）

本文来自之前在Udacity上自学机器学习的系列笔记。这是第12篇，介绍了监督学习中的贝叶斯学习模型（3）。

联合分布
在现实生活中，我们会对关联的几个随机变量感兴趣。例如，一个地区暴雨、闪电、打雷的关系。我们感兴趣的是这几个变量之间的联合分布，而不是一个随机变量。

对于两个随机变量的联合分布，我们可以定义为：
$P_{XY}(x, y) = P(X=x, Y=y)$

	暴雨	没有暴雨
闪电	0.25	0.05	0.30
没有闪电	0.40	0.30	0.70
	0.65	0.35	1.00

比如说，暴雨且闪电的联合概率为0.25。

条件独立
如果给定Z的值，X的概率分布独立于Y的值，那么我们就称X在Z下条件独立于Y，表达为数学式子：
$\forall x, y, z, \quad P(X|Y, Z)=P(X|Z)$

信任网络
信任网络又称为贝叶斯网络，它是对相互依赖的多个事件或随机过程的这种推断的自然概括。

比如随机的多个事件中，暴雨、打雷、闪电似乎有一种概率的关系，比如说在已知闪电的情况下，打雷和暴雨是条件独立的。

信任网络是由有向图构成的。有向图包含节点和箭头。一个节点表示一个随机事件，有多个状态值，而箭头表示一个事件与另一个事件的条件概率。

例如，如下图所示，暴雨、闪电、打雷三个随机事件构成了一个信任网络。

image.png

所以，信任网络就是描述一组概率分布的图模型。给定一组随机变量 $Y_1, Y_2, \ldots Y_n$ ，如果联合概率分布可以写成如下的形式，则称一个网络为信任网络：
$P(Y_1, Y_2, \ldots Y_n)=\prod_{i=1}^n P(Y_i|Parents(Y_i))$

image.png

比如说，上图有四个事件，分别是：饿了！、在家吃饭、洗碗、有一个全能机器人。节点之间的箭头就表示了条件独立假设，我们可以得到：
$Parent(Dishes)=(Robot, HomeDinner, Hunger!)$
$Descendants(Robot)=(Dishes, HomeDinner)$

根据每个节点的概率和联合概率，可以计算出饿了，可以在家吃饭，不用洗碗，可以有一个全能机器人的这四个事件同时发生的概率。

贝叶斯分类器
贝叶斯分类器是信任网络在假设所有变量之间互相条件独立情况下的特殊类型。比如说分类一封邮件是否垃圾邮件，我们根据几个特征出现的概率来判断。

$V=spam$
$a_1=viagra, \quad a_2=prince,\quad a_3=Udacity$

信任网络为：

image.png

那么：

$v_{map}=argmax_{v_j \in V} P(v_j|a_1, a_2, \ldots, a_n)$
$=argmax_{v_j \in V} \frac{P(a_1, a_2, \ldots, a_n | v_j)P(v_j)}{P(a_1, a_2, \ldots, a_n)}$
$=argmax_{v_j \in V} P(a_1, a_2, \ldots, a_n | v_j)P(v_j)$

借助链法则和条件独立假设，可以得到：

代入 $v_{map}$ 公式，可以得到：
$v_{map}=argmax_{v_j \in V} P(v_j) \prod_{i=1}^{n}P(a_i|v_j)$

机器学习笔记（13）：贝叶斯学习（3）

推荐阅读更多精彩内容