概率论

1. 概率的定义

定义样本空间

即论域. 随机现象的一切可能基本结果组成的集合称为样本空间, 记为 $\Omega=\{\omega\}$ , 其中 $\omega \in \Omega$ 称为样本点.

定义随机事件

$\Omega$ 的子集, $A\in \Omega$ 称为随机事件. 其中 $P(\cdot)$ 表示幂集. 例如 $\{X\leq 1\}$ 是随机事件

定义随机变量

定义在样本空间 $\Omega$ 上的实值函数 $X:\Omega \to \mathbb R$ , $X=X(\omega)$ 称为随机变量.

Remark. 连续情形下, 随机变量 $X$ 可理解为 $X: \omega \mapsto \omega$ , 即 $\Omega$ 上的恒等映射.

定义事件域

设 $\mathcal{F}\in P(\Omega)$ , 若 $\Omega \in \mathcal F$ , 且 $\mathcal F$ 对可列并与补余运算封闭, 则称 $\mathcal F$ 为一个事件域, 又称 $\sigma$ 域或 $\sigma$ 代数.

Remark.

$\mathcal F$ 对可列并与补余运算封闭, 意思是对任意 $A_n \in \mathcal F,$ 都有 $\bar A_n, \bigcup\limits_n{A_n} \in\mathcal F$ .
事件域 $\mathcal F$ 是 $\Omega$ 上的可测集类.
事件域 $\mathcal F$ 是 $\Omega$ 上的一个拓扑.

定义概率

设 $\mathcal F$ 是 $\Omega$ 上的事件域. 定义映射

$P: \mathcal F\to [0,1] \\ P:A \mapsto P(A)$

满足公理

(1) 非负性, $P(A) \geq 0 ;$

(2) 正则性, $P(\Omega)=1;$

(3) 可列可加性, 若 $A_1,\cdots,A_n,\cdots$ 互斥 $(A_i \cap A_j = \varnothing, \forall i\neq j)$ , 则 $P(\bigcup\limits_{i=1}^{\infty}A_i)=\sum\limits_{i=1}^{\infty}P(A_i)$ .

则称 $P(A)$ 为事件 $A$ 的概率.

Remark. 概率是(事件域上的)实值集合函数.

2. 分布

定义分布函数 $F(x):=P(X\leq x)$

定义密度函数 $\exists f_X(x), \text{s.t. } F(x)=\int_{-\infty}^x f_X(t)\mathrm dt ,$ 则称 $f_X(x)$ 为 $X$ 的概率密度函数.

Remark.

分布函数 $F(x)$ 满足

(1) 单调性

(2) 有界性 $F(-\infty)=0, F(+\infty)=1$

(3) 右连续性 $F(x_0+0)=F(x_0)$

以上三条是F(x)是分布函数的充要条件.
$P(X=a)=F(a)-F(a-0)$

定义多元分布函数 $F(x,y):=P\{X\leq x, Y\leq y\}$ .

注意, $P\{A,B\}:=P(A\cap B)$

Remark. 关于 $X,Y$ 的事件的概率计算
$P\{(X,Y) \in D\}=\iint\limits_D f(x,y)dxdy$
例如, $P\{X+Y \leqslant z\}=\iint\limits_{x+y\leqslant z} f(x,y)dxdy=\int_{-\infty}^\infty dx\int_{-\infty}^{z-x}f(x,y)dy$

3. 独立

随机事件的独立 $P(AB)=P(A)P(B)$

随机变量的独立 设 $X, Y$ 为随机变量. 若 $F_{XY}(x,y)=F_X(x)F_Y(y),$ 则称 $X, Y$ 独立.

连续情形下, $X,Y$ 独立 $\iff f_{XY}(x,y)=f_X(x)f_Y(y)$
离散情形下, $X,Y$ 独立 $\iff P(X=x,Y=y) = P(X=x)P(Y=y)$

Remark.

若 $X,Y$ 独立, 则 $P(X\leq x, Y\leq y) = P(X\leq x)P(Y\leq y)$ . 事实上, 由分布函数的定义, $X,Y$ 独立时, 有

$P(X\leq x, Y\leq y)=F_{XY}(x,y)=F_X(x)F_Y(y)= P(X\leq x)P(Y\leq y)\notag \quad\blacksquare$

$X,Y$ 独立 $\Longrightarrow E(XY)=EXEY$
独立 $\Longrightarrow$ 不相关 $(X,Y$ 不相关 $\overset{def}{\iff}\mathrm{Cov}(X,Y)=0)$ .
三个随机事件的独立： $A,B,C$ 相互独立 $\iff A,B,C$ 两两独立且 $P(ABC)=P(A)P(B)P(C)$

4. 基本公式

$A \subset B \iff A \cap B=A$
单调性 $A\subset B \Longrightarrow P(A)\leqslant P(B)$
$P(AB)$ 的定义 $P(AB):=P(A\cap B)$
加法公式 $P(A\cup B)=P(A)+P(B)-P(AB)$
减法公式 $P(A\bar B)=P(A-B)=P(A)-P(AB)$
乘法公式 $P(AB)=P(A)P(B|A)$
全概率公式 设 $\{B_i\}$ 是 $\Omega$ 的一个分割. 即 $B_i \cap B_j \neq 0, \forall i\neq j$ $(B_1,\cdots,B_n$ 互斥 $),$ 且 $\bigcup\limits_{i=1}^n B_i = \Omega,$ 则

$P(A)=\sum\limits_{i=1}^nP(B_i)P(A|B_i)$

贝叶斯公式
$P(B_i|A)=\frac{P(B_i)P(A|B_i)}{\sum\limits_{j=1}^n P(B_j)P(A|B_j)}$
成立条件与全概率公式相同.

证明由条件概率的定义, $P(B_i|A)=\frac{P(AB_i)}{P(A)}.$ 对分子应用乘法公式, 分母应用全概率公式, 立即得到Bayes公式. $\quad\blacksquare$

5. 协方差

定义协方差

$\mathrm{Cov}(X,Y):=E(X-EX)(Y-EY)\equiv E(XY)-EXEY$

性质

$\mathrm{Cov}(X,a)=0.$ 事实上, $\mathrm{Cov}(X,a)=E(aX)-EaEX=0.\quad\blacksquare$
$D(X\pm Y)=DX+DX\pm 2{\rm Cov}(X,Y)$

6. 随机变量的函数的分布

一元连续随机变量函数的分布

定理1 [一元情形]

设 $Y=g(X),g$ 严格单调, $x=h(y)=g^{-1}(y),$ 则
$F_Y(y)=\cases{F_X(h(y)), & g 严格单调增 \\ 1-F_X(h(y)), & g 严格单调减} \\ f_Y(y) = f_X(h(y)) \cdot |h'(y)|,\quad a<y<b\\ a=g(-\infty) \wedge g(+\infty),\quad b=g(-\infty) \vee g(+\infty)$

证明若 $g$ 严格单调增, $F_Y(y)=P(Y\leqslant y)=P(g(X)\leqslant y)=P(X\leqslant g^{-1}(y))=F_X(h(y)).$ 对 $y$ 求导, $f_Y(y)=F_X'(h(y))\cdot h'(y).$ 若 $g$ 严格单调减, $F_Y(y)=P(Y\leqslant y)=P(g(X)\leqslant y)= P(X\geqslant g^{-1}(y))=$ $1-P(X < h(y)) = 1-P(X\leqslant h(y)) = 1- F_X(h(y))$ . 对 y 求导, $f_Y(y)=F_X'(h(y))\cdot(-h'(y))$ . 因此有 $f_Y(y) = f_X(h(y))\cdot|h'(y)|$ . $a<y<b$ 的证明略去. $\quad \blacksquare$

二元随机变量函数的分布

定义 Jacobi行列式

对于变量变换
$\begin{cases} u = g_1(x,y)\\ v = g_2(x,y) \end{cases}$
存在唯一的反函数
$\begin{cases} x = x(u,v)\\ y = y(u,v) \end{cases}$
则其变换的雅可比行列式
$J = \frac{\partial(x,y)}{\partial(u,v)}= \left|\begin{array} {ccc} \frac {\partial x} {\partial u} & \frac {\partial y} {\partial u}\\ \frac {\partial x} {\partial v} & \frac {\partial y} {\partial v} \end{array}\right|$
形式地, 我们有
$\frac {\partial(x,y)} {\partial(u,v)} = \frac {\mathrm d x \mathrm dy} {\mathrm du\mathrm dv}$

二重积分的变量变换法

$\iint\limits_{D_{xy}} f(x,y)dxdy = \iint\limits_{D_{uv}} f(x(u,v),y(u,v))|J|dudv$

定理2 [二元随机变量函数的分布]

设 $X,Y$ 是随机变量, 联合分布为 $f(x,y)$ 作如下变换
$\begin{cases}U = g_1(X,Y)\\ V = g_2(X,Y) \end{cases}$
则 $(U,V)$ 的联合密度函数
$f(u,v) = f(x(u,v), y(u,v)) \cdot |J|$
Remark. 易见, $f_(x,y)dxdy = f(x, y)\frac {\partial(x,y)} {\partial(u,v)} dxdy = f(x(u,v), y(u,v))|J| dudv$ . 由该定理可推出两变量积与商的公式. 如令 $U = XY, V=Y$ 即可得到积的公式.

7. 条件概率

随机事件的条件概率

$P(A|B)=\frac{P(AB)}{P(B)}$

随机变量的条件分布

给定 $Y=y$ 条件下 $X$ 的条件密度函数为

$f(x|y) = \frac {f(x,y)}{f_Y(y)}$

条件分布函数为
$F(x|y)=P(X \leqslant x|Y=y)\\ = \int_{-\infty}^x f(t|y) \mathrm dt$
条件期望, 即条件分布的数学期望, 定义为
$E(X~|~Y=y) = \int_{-\infty}^{\infty} xf(x|y)dx$
Remark. 条件期望 $E(X~|~Y=y)$ 是关于 $y$ 的函数

其他待续

条件分布

$E(X)$ 是线性函数.

$\mathrm {Cov}(X,Y)$ 是双线性函数.

$D(X)$ 的性质类似于范数的平方 $||x||^2$

【概率统计一】概率论基础

【概率统计一】概率论基础

概率论

1. 概率的定义

2. 分布

3. 独立

4. 基本公式

5. 协方差