概率论四大收敛与三个大数定律

Part1.概率论四大收敛与三个大数定律

四大收敛：

1.依 $L_p$ 收敛（Convergence in $L_p$ ）

令 $0<p<\infty$ ，又令随机变量序列 $\{X_n\}_{n=1}^\infty$ 满足 $\mathbb{E}|X_n|^p<\infty$ ，并令随机变量 $X$ 满足 $\mathbb{E}|X|^p<\infty$

若 $\lim_{n\rightarrow\infty}\mathbb{E}|X_n-X|^p=0$

则称 $X_n$ 依 $L_p$ 收敛于 $X$ ，记为 $X_n\xrightarrow{L_p}X$

2.依分布收敛（Convergence in Distribution）

令随机变量序列 $\{X_n\}_{n=1}^\infty$ 对应的分布函数序列为 $\{F_n(x)\}_{n=1}^\infty$ ，随机变量 $X$ 对应的分布函数为 $F(x)$

若对于每个连续点 $x$ ，有 $\lim_{n\rightarrow\infty}F_n(x)=F(x)$

则称 $X_n$ 依分布收敛于 $X$ ，记为 $X_n\xrightarrow{d}X$

3.依概率收敛（Convergence in Probability）

令随机变量序列 $\{X_n\}_{n=1}^\infty$ 和随机变量 $X$

若 $\forall \epsilon>0$ ，有 $\lim_{n\rightarrow\infty}P\{|X_n-X|>\epsilon\}=0$

则称 $X_n$ 依概率收敛于 $X$ ，记为 $X_n\xrightarrow{P}X$

4.几乎处处收敛（Almost Sure Convergence）

令随机变量序列 $\{X_n\}_{n=1}^\infty$ 和随机变量 $X$

若 $\forall \epsilon>0$ ，有 $P\{\lim_{n\rightarrow\infty}|X_n-X|>\epsilon\}=0$

则称 $X_n$ 几乎处处收敛于 $X$ ，记为 $X_n\xrightarrow{a.s.}X$

三个大数定律（仅列出简化版本）：

1.弱大数定律（Weak Law of Large Numbers，WLLN）

令独立同分布（i.i.d）随机变量序列 $\{X_n\}_{n=1}^\infty$ 满足 $\mathbb{E}(X_i)=\mu$ 和 $var(X_i)=\sigma^2<\infty$

定义 $\overline{X}_n=\frac{1}{n}\sum_{i=1}^nX_i$ ，则对 $\forall\epsilon>0$ ，有 $\lim_{n\rightarrow\infty}P\{|\overline{X}_n-\mu|>\epsilon\}=0$

即 $\overline{X}_n$ 依概率收敛于 $\mu$

2.强大数定律（Strong Law of Large Numbers，SLLN）

令独立同分布（i.i.d）随机变量序列 $\{X_n\}_{n=1}^\infty$ 满足 $\mathbb{E}(X_i)=\mu$ 和 $\mathbb{E}|X_i|<\infty$

定义 $\overline{X}_n=\frac{1}{n}\sum_{i=1}^nX_i$

则 $\overline{X}_n$ 几乎处处收敛于 $\mu$

3.中心极限定理（Central Limit Theorem，CLT）

令独立同分布（i.i.d）随机变量序列 $\{X_n\}_{n=1}^\infty$ 满足 $\mathbb{E}(X_i)=\mu$ 和 $var(X_i)=\sigma^2<\infty$

定义 $\overline{X}_n=\frac{1}{n}\sum_{i=1}^nX_i$ ，有标准化样本 $Z_n=\frac{\overline{X}_n-\mathbb{E}(\overline{X}_n)}{\sqrt{var(\overline{X}_n)}}=\frac{\sqrt{n}(\overline{X}_n-\mu)}{\sigma}$

则 $Z_n$ 依分布收敛于正态分布 $\mathcal{N}(0,1)$

引理1.相互推导关系

1.1 $X_n\xrightarrow{L_p}X\Rightarrow X_n\xrightarrow{P}X$

1.2 $X_n\xrightarrow{a.s.}X\Rightarrow X_n\xrightarrow{P}X$

1.3 $X_n\xrightarrow{P}X\Rightarrow X_n\xrightarrow{d}X$

引理2.两个不等式

2.1马尔可夫不等式

设 $X$ 为一随机变量， $g(X)$ 为一非负函数，则对 $\forall\epsilon>0,k>0$ ，有

$P\{g(X)>\epsilon\}\leq \frac{1}{\epsilon^k}\mathbb{E}[g(X)]^k$

2.2波恩斯坦不等式

令独立同分布（i.i.d）随机变量序列 $\{X_n\}_{n=1}^\infty$ 满足零均值且有界支撑

$\forall i=1,...,n$ ，有 $|X_i|<M$ ；令 $\sigma_i^2=var(X_i)$ ，有 $\sum_{i=1}^n\sigma_i^2\leq V_n$

则对 $\forall\epsilon>0$ ，有 $P\{\big|\sum_{i=1}^nX_i\big|>\epsilon\}\leq2\exp\{-\frac{1}{2}\epsilon^2/(V_n+M/3)\}$

引理3.连续性质

3.1若 $g$ 为连续函数，则 $X_n\xrightarrow{P}X\Rightarrow g(X_n)\xrightarrow{P}g(X)$

3.2若 $g$ 为连续函数，则 $X_n\xrightarrow{a.s.}X\Rightarrow g(X_n)\xrightarrow{a.s.}g(X)$

3.3若 $g$ 为连续函数，则 $X_n\xrightarrow{d}X\Rightarrow g(X_n)\xrightarrow{d}g(X)$

引理4.等价性质

4.1渐进等价性（Asymptotic Equivalence）

$Y_n-Z_n\xrightarrow{P}0\land Z_n\xrightarrow{d}Z\Rightarrow Y_n\xrightarrow{d}Y$

4.2Slutsky

假设 $X_n\xrightarrow{d}X\land C_n\xrightarrow{P}C$ 且 $C$ 为常数，则

1） $X_n+C_n\xrightarrow{d}X+C$

2） $X_nC_n\xrightarrow{d}XC$

Part2.概率论基础和重要不等式

集合、概率、随机变量（三元集）： $(\Omega,\mathcal{F},P)$

事件：全空间 $\Omega$ 的子集

事件集：由 $\Omega$ 的子集构成的 $\sigma$ 代数

随机变量：Borel可测映射 $\mathcal{F}:\Omega\rightarrow\mathbb{R}$

随机变量取值的概率： $P:X\rightarrow[0,1]$

对应几乎处处连续的分布函数CDF： $F(x)=P(X\leq x)$

事件就是集合，随机变量的取值对应着某个事件，随机变量取值的概率对应着集合的测度

不可能事件、零概率事件、或然事件、全概率事件、必然事件 $\{A_n\}_{n=1}^\infty$

集合的上下极限：

$\mathop\cup_{n=k}^\infty A_k$ 事件 $A_k,A_{k+1},...$ 至少发生一个

$\overline{\lim_{n\rightarrow\infty}}A_n=\mathop{\cap}_{k=1}^\infty\mathop{\cup}_{n=k}^\infty A_n$ 上限事件，发生次数为无限次的事件

$\mathop{\cup}_{n=k}^\infty A_k$ 事件 $A_k,A_{k+1},...$ 同时发生

$\underline{\lim_{n\rightarrow\infty}}A_n=\mathop{\cup}_{k=1}^\infty\mathop{\cap}_{n=k}^\infty A_n$ 下限事件，不发生次数为有限次的事件

德·摩根律：

$(\mathop{\cap}_{k=1}^\infty\mathop{\cup}_{n=k}^\infty A_n)^c=\mathop{\cup}_{k=1}^\infty\mathop{\cap}_{n=k}^\infty A_n^c$ 即 $(\overline{\lim_{n\rightarrow\infty}}A_n)^c=$ $\underline{\lim_{n\rightarrow\infty}}A_n^c$

$(\mathop{\cup}_{k=1}^\infty\mathop{\cap}_{n=k}^\infty A_n)^c=\mathop{\cap}_{k=1}^\infty\mathop{\cup}_{n=k}^\infty A_n^c$ 即 $(\underline{\lim_{n\rightarrow\infty}}A_n)^c=\overline{\lim_{n\rightarrow\infty}}A_n^c$

博雷尔·康特立引理：

（1）若 $\{A_n\}_{n=1}^\infty$ 满足 $\sum_{n=1}^\infty P(A_n)<\infty$ ，则 $P(\overline{\lim_{n\rightarrow\infty}}A_n)=0$ 且 $P(\underline{\lim_{n\rightarrow\infty}}A_n^c)=1$

（2）若 $\{A_n\}_{n=1}^\infty$ 相互独立，则 $\sum_{n=1}^\infty P(A_n)=0$ 等价于 $P(\overline{\lim_{n\rightarrow\infty}}A_n)=1$ 且 $P(\underline{\lim_{n\rightarrow\infty}}A_n^c)=0$

噶依克·瑞尼不等式：

$\{\xi_n\}_{n=1}^\infty$ 为独立随机变量序列， $D\xi_n=\sigma_n^2<\infty$ ， $\{C_n\}_{n=1}^\infty$ 为正的非增常数序列

$\forall m<n,\epsilon>0$ ，有 $P\{\max_{m\leq j\leq n}C_j|\sum_{i=1}^j(\xi_i-\mathbb{E}\xi_i)|\geq\epsilon\}\leq\frac{1}{\epsilon^2}(C_m^2\sum_{j=1}^m\sigma_j^2+\sum_{j=m+1}^nC_j^2\sigma_j^2)$

柯尔莫哥洛夫不等式：

$\{\xi_n\}_{n=1}^\infty$ 为独立随机变量序列， $D\xi_n=\sigma_n^2<\infty$

$\forall\epsilon>0$ ，有 $P(\max_{1\leq j\leq n}|\sum_{i=1}^j(\xi_i-\mathbb{E}\xi_i)|\geq\epsilon)\leq\frac{1}{\epsilon^2}\sum_{j=1}^nD\xi_j$

Declare：

凡是四大收敛的定义法证明，几乎都可以归结为集合的交并补运算

Part3.概率论中特征函数的重要性

数学期望与高阶矩的本质：积分

矩母函数的定义：

设 $\xi$ 为随机变量， $\exists\delta>0,\forall t\in(-\delta,\delta)$ ，有 $\mathbb{E}(e^{t\xi})$ 存在，则 $m_\xi(t)=\mathbb{E}(e^{t\xi})$

矩母函数与高阶矩的关系：

$\mathbb{E}\xi^k=m_\xi^{(k)}(0)=(\frac{d^k}{dt^k}m_\xi(t))\Big|_{t=0}$

特征函数的定义：

设 $\xi$ 为随机变量， $\forall t\in\mathbb{R}$ ，有 $\mathbb{E}(e^{it\xi})$ 必存在，则 $\varphi_\xi(t)=\mathbb{E}(e^{it\xi})$

特征函数与高阶矩的关系：

$i^k\mathbb{E}\xi^k=\varphi_\xi^{(k)}(0)=(\frac{d^k}{dt^k}\varphi_\xi(t))\Big|_{t=0}$

特征函数与分布函数的关系：一一对应

1.逆转公式

分布函数 $F(x)$ 的特征函数为 $f(t)$ ，又 $x_1,x_2$ 是 $F(x)$ 的连续点，则有

$F(x_2)-F(x_1)=\lim_{T\rightarrow\infty}\frac{1}{2\pi}\int_{-T}^T\frac{e^{-itx_1}-e^{-itx_2}}{it}f(t)dt$

2.唯一性定理

分布函数 $F(x)$ 由特征函数 $f(t)$ 唯一确定，即令 $x=x_2,y=x_1\rightarrow\infty$ ，得

$F(x)=\frac{1}{2\pi}\lim_{y\rightarrow\infty}\lim_{T\rightarrow\infty}\int_{-T}^T\frac{e^{-ity}-e^{-itx}}{it}f(t)dt$

3.海莱第一定理

任意一个一致有界的非降函数列 $\{F_n(x)\}_{n=1}^\infty$ 中必有一子序列 $\{F_{n_k}(x)\}_{k=1}^\infty$ ，其弱收敛于某一有界的非降函数 $F(x)$

4.海莱第二定理及其推广

$f(x)\in C[a,b]$ ，且 $\{F_n(x)\}_{n=1}^\infty$ 是 $[a,b]$ 上弱收敛于 $F(x)$ 的一致有界非降函数序列，且 $a$ 和 $b$ 为 $F(x)$ 的连续点，则 $\lim_{n\rightarrow\infty}\int_a^bf(x)dF_n(x)=\int_a^bf(x)dF(x)$

可推广至 $a\rightarrow-\infty,b\rightarrow+\infty$

5.正极限定理

若分布函数列 $\{F_n(x)\}_{n=1}^\infty$ 弱收敛于 $F(x)$ ，则特征函数列 $\{f_n(t)\}_{n=1}^\infty$ 逐点收敛于 $f(t)$ ，且在 $t$ 的任一有限区间内一致收敛

6.逆极限定理

若特征函数列 $\{f_n(t)\}_{n=1}^\infty$ 收敛于 $f(t)$ ，且 $f(t)$ 在 $t=0$ 处连续

则相应 $\{F_n(x)\}_{n=1}^\infty$ 弱收敛于 $F(x)$ ，且 $f(t)$ 为 $F(x)$ 的特征函数

四大收敛与特征函数的关系

1. $L_p$ 收敛与特征函数

考虑到 $\mathbb{E}\xi^k=m_\xi^{(k)}(0)=(\frac{d^k}{dt^k}m_\xi(t))\Big|_{t=0}=i^{-k}\varphi_\xi^{(k)}(0)=i^{-k}(\frac{d^k}{dt^k}\varphi_\xi(t))\Big|_{t=0}$