大数定律及中心极限定理

随机世界的很多问题都需要考虑很多随机现象的极限行为,在时候大量随机变量后面所隐含的随机规律就变得很重要,在这方面的研究比较典型的就是大数定律和中心极限理论.

0. 随机变量序列的收敛模式

我们知道,在概率空间 $(\Omega,\mathscr{F},P)$ 中,概率空间 $(\Omega,\mathscr{F},P)$ 本身是一个测度空间, 当然对于其实的随机变量的比较我们有了更多层次上的考虑,因此考虑随机变量序列的极限行为时,就会有一些不那么直观的考虑,当然我们对其感觉不直观的根源还是在于我们对这些行为模式不熟悉,很难感受得到她所造成的.

定义 1: 设 $(\Omega,\mathscr{F},P)$ 为概率空间, $X_n : \Omega \to \mathbb{R},\forall n \in \mathbb{N}$ 为概率空间 $(\Omega,\mathscr{F},P)$ 上的随机变量序列, 如果存在 $(\Omega,\mathscr{F},P)$ 上的随机变量 $X$ ,使得对于任意的 $\epsilon >0$ ,都有
$\begin{align} \lim_{n \to \infty}P(\omega||X_n(\omega)-X(\omega)|\geq \epsilon)=0, \end{align}$
那么我们称随机变量序列 $\{X_n\}$ 依概率收敛于随机变量 $X$ , 记为
$\begin{align} X_n \stackrel{P}{\longrightarrow} X,n \longrightarrow \infty , \end{align}$

定义 2: 设 $(\Omega,\mathscr{F},P)$ 为概率空间, $X_n : \Omega \to \mathbb{R},\forall n \in \mathbb{N}$ 为概率空间 $(\Omega,\mathscr{F},P)$ 上的随机变量序列, 如果存在 $(\Omega,\mathscr{F},P)$ 上的随机变量 $X$ ,使得随机事件
$\begin{align} \left\{\omega|lim_{n\to \infty}\left(X_n(\omega)-X(\omega)\right)=0\right\} \end{align}$
的概率为 $1$ , 也就就是
$\begin{align} P\left(\omega|lim_{n\to \infty}\left(X_n(\omega)-X(\omega)\right)=0\right) \end{align}$
那么我们称随机变量序列几乎比如收敛于随机变量 $X$ ,记为
$\begin{align} X_n \stackrel{a.s}{\longrightarrow} X,n \longrightarrow \infty , \end{align}$

定义 2: 设 $(\Omega,\mathscr{F},P)$ 为概率空间, $p\in \mathbb{R},p\geq 1$ , $X_n : \Omega \to \mathbb{R},\forall n \in \mathbb{N}$ 为概率空间 $(\Omega,\mathscr{F},P)$ 上的随机变量序列, 如果存在 $(\Omega,\mathscr{F},P)$ 上的随机变量 $X$ ,使得
$\begin{align} \lim_{n \to \infty}\left(X_n-X\right)^{p}=0 \end{align}$
那么我们称随机变量序列 $\{X_n\}$ $L^{p}-$ 收敛于随机变量 $X$ ,记为
$\begin{align} X_n \stackrel{L^{p}}{\longrightarrow} X,n \longrightarrow \infty , \end{align}$

1. 大数定律

在概率论中,对于随机变量的收敛将是有多种层次的,因此不同的收敛层次反映了不同的现象,描述了不同的问题,一般而言,就有必要区分大量随机变量的收敛的类型.

定义 1 : 设 $(\Omega,\mathscr{F},P)$ 为概率空间, $X_n : \Omega \to \mathbb{R},\forall n \in \mathbb{N}$ 为概率空间 $(\Omega,\mathscr{F},P)$ 上的随机变量序列, $E(X_n)< \infty,$ $\forall n \in \mathbb{N}$ , 如果
$\begin{align} \frac{1}{n}\sum_{k=1}^{n}(X_k-EX_k) \stackrel{P}{\longrightarrow} 0,n \longrightarrow \infty , \end{align}$
则我们称随机变量序列 $\{X_n\}$ 满足弱大数定律.

自然我们可以定义

定义 2 : 设 $(\Omega,\mathscr{F},P)$ 为概率空间, $X_n : \Omega \to \mathbb{R},\forall n \in \mathbb{N}$ 为概率空间 $(\Omega,\mathscr{F},P)$ 上的随机变量序列, $E(X_n)< \infty,$ $\forall n \in \mathbb{N}$ , 如果
$\begin{align} \frac{1}{n}\sum_{k=1}^{n}(X_k-EX_k) \stackrel{a.s}{\longrightarrow} 0,n \longrightarrow \infty , \end{align}$
则我们称随机变量序列 $\{X_n\}$ 满足强大数定律.

注意:

所谓说随机变量序列满足弱大数定律，上述收敛是指依概率收敛 (in probability).
所谓说随机变量序列满足强大数定律，上述收敛是指几乎必然收敛 (almost surely/with probability one).

并且在通常情况下,我们不严格区分的话,统称随机变量序列满足大数定律.

Chebyshev 不等式: 设 $(\Omega,\mathscr{F},P)$ 为概率空间, $X : \Omega \to \mathbb{R}$ 是方差有限的随机变量, 即 $Var(X)< \infty$ , 则
$\begin{align} P(\omega\mid |X(\omega)-EX|\geq \epsilon) \leq \frac{1}{\epsilon^2}Var(X) \end{align}$
注: Chebyshev 不等式的几何含义非常明显,证明也没有太大的难度,不过却很有用.

定义 3 : 设 $(\Omega,\mathscr{F},P)$ 为概率空间, $X_n : \Omega \to \mathbb{R},\forall n \in \mathbb{N}$ 为概率空间 $(\Omega,\mathscr{F},P)$ 上的随机变量序列, 如果
$\begin{align} \frac{1}{n^2}Var\left(\sum_{k=1}^{n}X_k\right) \longrightarrow 0,n \longrightarrow \infty , \end{align}$
则我们称随机变量序列 $\{X_n\}$ 满足 Markov 条件.

Markov 大数定律: 设 $(\Omega,\mathscr{F},P)$ 为概率空间,如果概率空间 $(\Omega,\mathscr{F},P)$ 上的随机变量序列 $X_n : \Omega \to \mathbb{R},\forall n \in \mathbb{N}$ 满足 Markov 条件, 则随机变量序列 $\{X_n\}$ 满足弱大数定律.

Chebyshev 大数定律: 如果概率空间 $(\Omega,\mathscr{F},P)$ 上的随机变量序列 $\{X_n\}$ 两两不相关且方差有界,即存在 $c \in \mathbb{R}$ ,使得
$\begin{align} Var(X_n)\leq c, \end{align}$
则随机变量序列 $\{X_n\}$ 满足弱大数定律.

Bernoulli 大数定律: 设 $X_n$ 为 $n$ 重 Bernoulli 试验成功的次数,则
$\begin{align} \frac{1}{n} X_n \stackrel{P}{\longrightarrow} p,n \longrightarrow \infty , \end{align}$

也就是 $X_n$ 满足弱大数定律.

Borel 大数定律: 设 $X_n$ 为 $n$ 重 Bernoulli 试验成功的次数,则
$\begin{align} \frac{1}{n} X_n \stackrel{a.s}{\longrightarrow} p,n \longrightarrow \infty , \end{align}$

也就是 $X_n$ 满足强大数定律.

2. 中心极限理论

定义 4 : 设 $X:\Omega \to \mathbb{R}$ 为概率空间 $(\Omega,\mathscr{F},P)$ 上的随机变量,我们称随机变量
$\begin{align} X^{0}=\frac{X-EX}{\sqrt{Var(X)}} \end{align}$
为随机变量 $X$ 的标准化.

命题: 设概率空间 $(\Omega,\mathscr{F},P)$ 上的随机变量 $X:\Omega \to \mathbb{R}$ 的期望,方差都存在,且方差不为零, 则
$\begin{align*} EX^{0}=0\\ VarX=1 \end{align*}$
注意, 我们如果在概率空间 $(\Omega,\mathscr{F},P)$ 上的随机变量构成的线性空间 $\mathcal{M}(\Omega,\mathbb{R})$ 上引入函数
$\begin{align*} ||\cdot||: & \ \mathcal{M}(\Omega,\mathbb{R}) \to \mathbb{R}\\ &X \mapsto ||X||=\sqrt{VarX} \end{align*}$
那么 $||\cdot||$ 将构成线性空间 $\mathcal{M}(\Omega,\mathbb{R})$ 上的拟范数,也就是其能满足范数的非负性,绝对齐性和三角不等式,唯独不能满足 $||X||=0$ 导出 $X=0$ 这个条件,当然,这个可以在 $\mathcal{M}(\Omega,\mathbb{R})$ 引用等价关系了弥补这个问题. 因此在这个泛函分析的视角来看,就能理解上面对随机变量进行标准化的含义是什么了.

定义 5 : 设 $(\Omega,\mathscr{F},P)$ 为概率空间, $X_n : \Omega \to \mathbb{R},\forall n \in \mathbb{N}$ 为概率空间 $(\Omega,\mathscr{F},P)$ 上的随机变量序列, 如果
$\begin{align} \lim_{n \to \infty}p\left(\frac{\sum_{i=1}^{n}(X_i-EX_i)}{\sqrt{Var(\sum_{i=1}^{n}X_{i}})}\leq x\right)=\Phi(x),\forall x \in \mathbb{R} \end{align}$
则我们称随机变量序列 $\{X_n\}$ 满足中心极限定理.

注: 上面本质是是对 $(\Omega,\mathscr{F},P)$ 为概率空间上的随机变量序列 $X_n : \Omega \to \mathbb{R},\forall n \in \mathbb{N}$ 计算累计和,也就是考虑随机变序列
$S_n=X_1+X_2+\cdots+X_n,\forall n \in \mathbb{N}$
中每个随机变量进行标准化后得到的随机变量序列 $\{S_{n}^{0}\}$ 极限行为, 准确地讲,是考虑标准化后随机变量序列 $\{S_{n}^{0}\}$

的分布函数的极限行为.

事实上, 对于任意的自然数 $n$ , 我们计算 $S_n$ 的标准化可得
$\begin{align*} S_n^{0}&=\frac{S_n-ES_n}{\sqrt{Var(S_n)}}\\ &=\frac{X_1+X_2+\cdots+X_n-E(X_1+X_2+\cdots+X_n)}{\sqrt{Var(X_1+X_2+\cdots+X_n)}}\\ &=\frac{\sum_{i=1}^{n}(X_i-EX_i)}{\sqrt{Var(\sum_{i=1}^{n}X_i})} \end{align*}$
而随机变量 $\{S_{n}^{0}\}$ 的分布函数就是
$\begin{align*} F_{S_{n}^{0}}(x)=p\left(\frac{\sum_{i=1}^{n}(X_i-EX_i)}{\sqrt{Var(\sum_{i=1}^{n}X_{i}})}\leq x\right),\forall x \in \mathbb{R} \end{align*},$
因此中心极限理论的核心是考虑随机变量序列的累计和标准化后的极限分布与标准正态分布进行比较的理论,如果累计和标准化后的极限行为与标准正态分布一致,那么我们就称这个随机变量序列满足中心极限定理.

大数定律及中心极限定理

0. 随机变量序列的收敛模式

1. 大数定律

2. 中心极限理论

推荐阅读更多精彩内容