条件概率

条件概率在研究生的概率论的课程中会涉及。

本文主要想阐述对条件概率的理解，以及在工程中应用的原因。

其公式如下：

$g(y)=E(X|Y=y)$

其值随Y取值变化，所以是Y的一个函数。由于Y是随机变量，所以条件概率也是一个随机变量。其期望E(E(X|Y))=E(X)，这是无条件的恒成立公式。数学推理过程又被称为全期望定理：

$E(E(X|Y))=\int_{-\infty}^\infty E(X|Y=y)f_Y(y)dy=E(X)$

全期望定理比全概率公式更贴近加权求平均。这个公式是易于理解的：随机变量X期望等于不同Y取值下X期望的加权平均数。

全期望定理适用于求解多次重复实验的期望或方差。考研数学一里有一种题型是，每次实验都是二项分布或伯努利分布，求解n次实验的期望。全期望定理是解决此问题的理想工具。

条件期望在统计推断中

如果我们将Y视为含有X信息的观测值，则条件期望可以被理解为给定Y条件下对X的估计。它具备两个优良性质。这使得它在统计推断领域中被广泛应用。统计学中的名称是最小均方估计（LMS）。

两个性质分别是：

1、其估计是无偏的

2、估计误差与估计是不相关的（注意相关和独立的区别）

下面是对这两个性质的推导及说明。

1、无偏性

X的估计为：

$\hat{X}=E(X|Y)$

其误差为：

$\tilde{X}=X-\hat{X}$

显然，估计误差也是随机变量，所以

$E(\tilde{X}|Y)=E(X|Y)-E(\hat{X}|Y)=\hat{X}-\hat{X}=0$

$E(\hat{X}|Y)=\hat{X}$ 成立的原因是 $\hat{X}$ 完全由Y的取值决定。所以在样本估计中， $E(\hat{X}|Y)$ 是常数。

条件期望更广泛的一个性质是： $E(Xg(Y)|Y)=g(Y)E(X|Y)$ 1)

$E(\tilde{X}|Y)=0$ 表明这样的估计是没有系统级的正或负偏的，被称为无偏性，是估计的较好性质之一。

2、不相关性

$\begin{align*} \mathrm{cov}(\tilde{X}，\hat{X})&=E(\tilde{X}\hat{X})-E(\tilde{X})E(\hat{X})\\ &=E(E(\tilde{X}\hat{X}|Y))-0\times E(\hat{X})\\ &=E(\hat{X}E(\tilde{X}|Y))\\ &=0\\ \end{align*}$

最后等式为0可由公式1）推导得到。

条件概率的工程性质

条件概率的工程性质

条件概率

条件期望在统计推断中