2022-01-12

1.贝叶斯网络

1.1 链式法则

$P(x_1,x_2,\cdots,x_n) = \prod_{i=1}^n P(x_i|x_1,x_2 \cdots x_{i-1})$

举例： $P(x_1,x_2,x_3,x_4) = P(x_1)*P(x_2|x_1)*P(x_3|x_1,x_2)*P(x_4|x_1,x_2,x_3) \tag1$
推导过程：
$\begin{align} P(x_1,x_2,x_3,x_4) &= P(x_4|x_1,x_2,x_3) * P(x_1,x_2,x_3) \tag2 \\ P(x_1,x_2,x_3,x_4) &= P(x_4|x_1,x_2,x_3) * P(x_1,x_2,x_3) \tag3 \\ P(x_1,x_2,x_3) &= P(x_3|x_1,x_2) * P(x_1,x_2) \tag4 \\ P(x_1,x_2) &= P(x_2|x_1) * P(x_1) \tag5 \end{align}$

公式5是常见的贝叶斯公式
当 $x_1,x_2,x_3,x_4$ 符合下图关系， $x_4$ 仅依赖于 $x_3$ ，那么在公式1中 $P(x_4|x_1,x_2,x_3)$ 可以改写成 $P(x_4|x_3)$ ，这样需要算的参数数量会减少

image.png

当 $x_1,x_2,x_3,x_4$ 符合下图关系， $x_2$ 不再以 $x_1$ 为条件，那么在公式1中 $P(x_2|x_1)$ 可以改写成 $P(x_2)$ ；同样的 $x_2$ 不再是 $x_3$ 的父节点， $P(x_3|x_1,x_2)$ 可以改写成 $P(x_3|x_2)$

image.png

1.2 有向图因式分解公式

$P(x_1,x_2,\cdots,x_n) = \prod_{i=1}^n P(x_i|x_{pa_i})$
1.chain模式
证明在给定 $x_2$ (即block $x_1$ 到 $x_3$ 之间的通路)的条件下， $x_1$ 和 $x_3$ 独立，即 $x_1 \bot x_3 |x_2$ ：
根据有向图因式分解公式： $P(x_1,x_2,x_3) = P(x_1)*P(x_2|x_1)*P(x_3|x_2)$
根据链式公式： $P(x_1,x_2,x_3) = P(x_1,x_3|x_2)*P(x_2)$
得出： $P(x_1,x_3|x_2) = \frac {P(x_1)*P(x_2|x_1)*P(x_3|x_2)}{P(x_2)} = P(x_1|x_2)*P(x_3|x_2)$
所以得到 $x_1$ 和 $x_3$ 独立

image.png

2.Diverge模式
证明在给定

x_2

(即block

x_1

到

x_3

之间的通路)的条件下，

x_1

和

x_3

独立，即

x_1 \bot x_3 |x_2

：
根据有向图因式分解公式：

P(x_1,x_2,x_3) = P(x_2)*P(x_1|x_2 )*P(x_3|x_2)

根据链式公式：

P(x_1,x_2,x_3) = P(x_1,x_3|x_2)*P(x_2)

得出：

P(x_1,x_3|x_2) = P(x_1|x_2)*P(x_3|x_2)

image.png

3.Converge/Collider模式
$x_1$ 和 $x_3$ 独立(即 $x_2$ block了 $x_1$ 到 $x_3$ 之间的通路)，但在给定 $x_2$ 的条件下， $x_1$ 和 $x_3$ 不独立：
证明：
根据有向图因式分解公式： $P(x_1,x_2,x_3) = P(x_1)*P(x_3)*P(x_2|x_1,x_3 )$
根据链式公式： $P(x_1,x_2,x_3) = P(x_2|x_1,x_3)*P(x_1,x_3)$
得出： $P(x_1,x_3)= P(x_1)*P(x_3)$
另外一种证明方法：
$P(x_1,x_3)= \sum_{x_2} P(x_1,x_2,x_3)$
$= \sum_{x_2} P(x_1)*P(x_3)*P(x_2|x_1,x_3 )$
$= P(x_1)*P(x_3)*\sum_{x_2} P(x_2|x_1,x_3 )$
$= P(x_1)*P(x_3)$

image.png

D-Separation
D-Separation是一种用来判断变量是否条件独立的图形化方法。换言之，对于一个DAG(有向无环图)E，D-Separation方法可以快速的判断出两个节点之间是否是条件独立的。
如果A，B，C是三个集合（可以是单独的节点或者是节点的集合），为了判断 A 和 B 是否是 C 条件独立的，我们考虑 E 中所有 A 和 B 之间的无向路径。对于其中的一条路径，如果满足以下两个条件中的任意一条，则称这条路径是阻塞（block）：
（1）路径中存在某个节点 X 是Chain或者Diverge节点，并且 X 是包含在 C 中的；
（2）路径中存在某个节点 X 是Converge节点，并且 X 或 X 的儿子是不包含在 C 中的；
如果 A，B 间所有的路径都是阻塞的，那么 A，B 就是关于 C 条件独立的；否则， A，B 不是关于 C 条件独立的。

例子

image.png

判断图中a与b是否在c条件下独立？
判断 a 和 b 是否是 c下条件独立的： a 到 b 只有一条路径 a->e->f->b 。考虑路径上的点 e 和 f ：其中e 是Converge类型的，且 e 的儿子节点就是 c ，根据条件2，e不阻断。而节点f是Diverge类型节点，根据条件1，f不在c中，所以也有a，b不是c条件下独立。

判断图中a与b是否在f条件下独立？
判断 a 和 b 是否是 f 下条件独立的：路径 a->e->f->b 上的所有节点。考虑路径上的点e和f：节点 e 是Converge类型的，e 和她的儿子节点 c 都不在 f 中，所以根据条件2，e是阻断路径的节点。节点 f 是Diverge类型节点，且 f 节点就在 f中，所以 f 节点阻断了路径。结论：a 和 b是 f 下条件独立的。

2.后门调整准则

2.1 干预 / $do$ 算子

image.png

定义：将因果图中结点

X

值修改为

x

，记为

do(X = x )

，可以简写为

do(x )

。
性质：在对结点

X

进行干预时，会删除因果图中指向

X

的边，干预节点的概率为1，其他的节点概率保持不变；

image.png

与“以变量为条件”(conditioning)的区别：

表现形式： $P(Y = y ∣ X = x )$ vs $P(Y=y | do(X=x))$
“以变量为条件”是选取观测到T=1的样本子集，“干预”是让所有样本T=1
“以变量为条件”不改变原始数据的分布，“干预”改变了原始数据的分布

2.2 截断式因式分解（Truncated Factorization）

image.png

根据有向图因式分解公式：

P(y,t,x) = P(x)*P(t|x)*P(y|t,x)

根据截断式的性质，

P(t|x)=1

，所以：

P(y,x|do(t)) = P(y|t,x)*P(x)

边际化

x

：

P(y|do(t)) = \sum_x P(y|t,x)*P(x)

$P(y|t,x)*P(x|t) =\frac {P(y|t,x)*P(x|t)*P(t)}{P(t)}=\frac {P(y,t,x)}{P(t)}=\frac {P(y,x|t)*P(t)}{P(t)}=P(y,x|t)$
$\sum_x P(y|t,x)*P(x|t) = \sum_x P(y,x|t) = P(y|t)$
$P(y|t)$ 和 $P(y|do(t))$ 的区别在与一个是乘以 $P(x|t)$ ，一个是乘以 $P(x)$ ， $P(y|t)$ 表示相关性， $P(y|do(t))$ 表示因果性，由于confounder $X$ 的存在， $相关性\neq因果性$ 。
如果切断 $x$ 和 $t$ 之间的联系，那么 $P(x) = P(x|t)$

2.3 后门调整（Backdoor Adjustment）

和2.2节同样的DAG图，推导后门调整公式：
$\begin{align} P(y|do(t)) &= \sum_x P(y|do(t),x)*P(x|do(t)) \\ &= \sum_x P(y|t,x)*P(x|do(t)) \\ &= \sum_x P(y|t,x)*P(x) \end{align}$
第1个等号：
$\begin{align} \sum_x P(y|do(t),x)*P(x|do(t)) & = \sum_x \frac{P(y|do(t),x)*P(x|do(t))*P(do(t))}{P(do(t))} \\ &= \sum_x \frac{P(y,do(t),x)}{P(do(t))} \\ &= \sum_x \frac{P(y,x|do(t))*P(do(t))}{P(do(t))} \\ &=\sum_x P(y,x|do(t)) = P(y|do(t)) \end{align}$
第2个等号：because y blocks all backdoor paths from t to y, the only association flowing from t to y is causal association. so we can remove $do(t)$ in the factor for y
第3个等号: 简单理解就是根据后门准则，给定了 $x$ ，切断了 $t \rightarrow x \rightarrow y$ 这条路，使得只有 $t \rightarrow y$ 这一条路，而这条路是我们想获得的causal association.
消除 $do(t)$ 是因为：1. $do(t)$ 切断了 $T$ 的parents，没有in-edge association流向 $T \rightarrow W$ ; 2. 如果存在association则为T 的 out-edge association，则会与Y形成一个collider，association 被 collider 切断。所以T与W独立下面举个例子，

image.png

切断

C \rightarrow T

的连接，C，T，Y形成collider，由于Y未观测，C和T独立
because we're intervening on t,there are no incoming edges to t, so no association can flow from t to x through backdoor paths,so the only way that association could flow from t to x,is through paths that are directed out of t,not backdoor paths and this is where the second part of the backdoor criterion come into play, we cannot have any association from t to w, that's directed out of f because it will run into colliders, so in this
另一种证明方法：
这种证明的方法一个重点是