大数定律及中心极限定理

随机世界的很多问题都需要考虑很多随机现象的极限行为,在时候大量随机变量后面所隐含的随机规律就变得很重要,在这方面的研究比较典型的就是大数定律和中心极限理论.

0. 随机变量序列的收敛模式

我们知道,在概率空间 $(\Omega,\mathscr{F},P)$ 中,概率空间 $(\Omega,\mathscr{F},P)$ 本身是一个测度空间, 当然对于其实的随机变量的比较我们有了更多层次上的考虑,因此考虑随机变量序列的极限行为时,就会有一些不那么直观的考虑,当然我们对其感觉不直观的根源还是在于我们对这些行为模式不熟悉,很难感受得到她所造成的.

定义 1: 设 $(\Omega,\mathscr{F},P)$ 为概率空间, $X_n : \Omega \to \mathbb{R},\forall n \in \mathbb{N}$ 为概率空间 $(\Omega,\mathscr{F},P)$ 上的随机变量序列, 如果存在 $(\Omega,\mathscr{F},P)$ 上的随机变量 $X$ ,使得对于任意的 $\epsilon >0$ ,都有
$\begin{align} \lim_{n \to \infty}P(\omega||X_n(\omega)-X(\omega)|\geq \epsilon)=0, \end{align}$
那么我们称随机变量序列 $\{X_n\}$ 依概率收敛于随机变量 $X$ , 记为
$\begin{align} X_n \stackrel{P}{\longrightarrow} X,n \longrightarrow \infty , \end{align}$

定义 2: 设 $(\Omega,\mathscr{F},P)$ 为概率空间, $X_n : \Omega \to \mathbb{R},\forall n \in \mathbb{N}$ 为概率空间 $(\Omega,\mathscr{F},P)$ 上的随机变量序列, 如果存在 $(\Omega,\mathscr{F},P)$ 上的随机变量 $X$ ,使得随机事件
$\begin{align} \left\{\omega|lim_{n\to \infty}\left(X_n(\omega)-X(\omega)\right)=0\right\} \end{align}$
的概率为 $1$ , 也就就是
$\begin{align} P\left(\omega|lim_{n\to \infty}\left(X_n(\omega)-X(\omega)\right)=0\right) \end{align}$
那么我们称随机变量序列几乎比如收敛于随机变量 $X$ ,记为
$\begin{align} X_n \stackrel{a.s}{\longrightarrow} X,n \longrightarrow \infty , \end{align}$

定义 2: 设 $(\Omega,\mathscr{F},P)$ 为概率空间, $p\in \mathbb{R},p\geq 1$ , $X_n : \Omega \to \mathbb{R},\forall n \in \mathbb{N}$ 为概率空间 $(\Omega,\mathscr{F},P)$ 上的随机变量序列, 如果存在 $(\Omega,\mathscr{F},P)$ 上的随机变量 $X$ ,使得
$\begin{align} \lim_{n \to \infty}\left(X_n-X\right)^{p}=0 \end{align}$
那么我们称随机变量序列 $\{X_n\}$ $L^{p}-$ 收敛于随机变量 $X$ ,记为
$\begin{align} X_n \stackrel{L^{p}}{\longrightarrow} X,n \longrightarrow \infty , \end{align}$

1. 大数定律

在概率论中,对于随机变量的收敛将是有多种层次的,因此不同的收敛层次反映了不同的现象,描述了不同的问题,一般而言,就有必要区分大量随机变量的收敛的类型.

定义 1 : 设 $(\Omega,\mathscr{F},P)$ 为概率空间, $X_n : \Omega \to \mathbb{R},\forall n \in \mathbb{N}$ 为概率空间 $(\Omega,\mathscr{F},P)$ 上的随机变量序列, $E(X_n)< \infty,$ $\forall n \in \mathbb{N}$ , 如果
$\begin{align} \frac{1}{n}\sum_{k=1}^{n}(X_k-EX_k) \stackrel{P}{\longrightarrow} 0,n \longrightarrow \infty , \end{align}$
则我们称随机变量序列 $\{X_n\}$ 满足弱大数定律.

自然我们可以定义

定义 2 : 设 $(\Omega,\mathscr{F},P)$ 为概率空间, $X_n : \Omega \to \mathbb{R},\forall n \in \mathbb{N}$ 为概率空间 $(\Omega,\mathscr{F},P)$ 上的随机变量序列, $E(X_n)< \infty,$ $\forall n \in \mathbb{N}$ , 如果
$\begin{align} \frac{1}{n}\sum_{k=1}^{n}(X_k-EX_k) \stackrel{a.s}{\longrightarrow} 0,n \longrightarrow \infty , \end{align}$
则我们称随机变量序列 $\{X_n\}$ 满足强大数定律.

注意:

所谓说随机变量序列满足弱大数定律，上述收敛是指依概率收敛 (in probability).
所谓说随机变量序列满足强大数定律，上述收敛是指几乎必然收敛 (almost surely/with probability one).

并且在通常情况下,我们不严格区分的话,统称随机变量序列满足大数定律.

Chebyshev 不等式: 设 $(\Omega,\mathscr{F},P)$ 为概率空间, $X : \Omega \to \mathbb{R}$ 是方差有限的随机变量, 即 $Var(X)< \infty$ , 则
$\begin{align} P(\omega\mid |X(\omega)-EX|\geq \epsilon) \leq \frac{1}{\epsilon^2}Var(X) \end{align}$
注: Chebyshev 不等式的几何含义非常明显,证明也没有太大的难度,不过却很有用.

定义 3 : 设 $(\Omega,\mathscr{F},P)$ 为概率空间, $X_n : \Omega \to \mathbb{R},\forall n \in \mathbb{N}$ 为概率空间 $(\Omega,\mathscr{F},P)$ 上的随机变量序列, 如果
$\begin{align} \frac{1}{n^2}Var\left(\sum_{k=1}^{n}X_k\right) \longrightarrow 0,n \longrightarrow \infty , \end{align}$
则我们称随机变量序列 $\{X_n\}$ 满足 Markov 条件.

Markov 大数定律: 设 $(\Omega,\mathscr{F},P)$ 为概率空间,如果概率空间 $(\Omega,\mathscr{F},P)$ 上的随机变量序列 $X_n : \Omega \to \mathbb{R},\forall n \in \mathbb{N}$ 满足 Markov 条件, 则随机变量序列 $\{X_n\}$ 满足弱大数定律.

Chebyshev 大数定律: 如果概率空间 $(\Omega,\mathscr{F},P)$ 上的随机变量序列 $\{X_n\}$ 两两不相关且方差有界,即存在 $c \in \mathbb{R}$ ,使得
$\begin{align} Var(X_n)\leq c, \end{align}$
则随机变量序列 $\{X_n\}$ 满足弱大数定律.

Bernoulli 大数定律: 设 $X_n$ 为 $n$ 重 Bernoulli 试验成功的次数,则
$\begin{align} \frac{1}{n} X_n \stackrel{P}{\longrightarrow} p,n \longrightarrow \infty , \end{align}$

也就是 $X_n$ 满足弱大数定律.

Borel 大数定律: 设 $X_n$ 为 $n$ 重 Bernoulli 试验成功的次数,则
$\begin{align} \frac{1}{n} X_n \stackrel{a.s}{\longrightarrow} p,n \longrightarrow \infty , \end{align}$

也就是 $X_n$ 满足强大数定律.

2. 中心极限理论

定义 4 : 设 $X:\Omega \to \mathbb{R}$ 为概率空间 $(\Omega,\mathscr{F},P)$ 上的随机变量,我们称随机变量
$\begin{align} X^{0}=\frac{X-EX}{\sqrt{Var(X)}} \end{align}$
为随机变量 $X$ 的标准化.

命题: 设概率空间 $(\Omega,\mathscr{F},P)$ 上的随机变量 $X:\Omega \to \mathbb{R}$ 的期望,方差都存在,且方差不为零, 则
$\begin{align*} EX^{0}=0\\ VarX=1 \end{align*}$
注意, 我们如果在概率空间 $(\Omega,\mathscr{F},P)$ 上的随机变量构成的线性空间 $\mathcal{M}(\Omega,\mathbb{R})$ 上引入函数
$\begin{align*} ||\cdot||: & \ \mathcal{M}(\Omega,\mathbb{R}) \to \mathbb{R}\\ &X \mapsto ||X||=\sqrt{VarX} \end{align*}$
那么 $||\cdot||$ 将构成线性空间 $\mathcal{M}(\Omega,\mathbb{R})$ 上的拟范数,也就是其能满足范数的非负性,绝对齐性和三角不等式,唯独不能满足 $||X||=0$ 导出 $X=0$ 这个条件,当然,这个可以在 $\mathcal{M}(\Omega,\mathbb{R})$ 引用等价关系了弥补这个问题. 因此在这个泛函分析的视角来看,就能理解上面对随机变量进行标准化的含义是什么了.

定义 5 : 设 $(\Omega,\mathscr{F},P)$ 为概率空间, $X_n : \Omega \to \mathbb{R},\forall n \in \mathbb{N}$ 为概率空间 $(\Omega,\mathscr{F},P)$ 上的随机变量序列, 如果
$\begin{align} \lim_{n \to \infty}p\left(\frac{\sum_{i=1}^{n}(X_i-EX_i)}{\sqrt{Var(\sum_{i=1}^{n}X_{i}})}\leq x\right)=\Phi(x),\forall x \in \mathbb{R} \end{align}$
则我们称随机变量序列 $\{X_n\}$ 满足中心极限定理.

注: 上面本质是是对 $(\Omega,\mathscr{F},P)$ 为概率空间上的随机变量序列 $X_n : \Omega \to \mathbb{R},\forall n \in \mathbb{N}$ 计算累计和,也就是考虑随机变序列
$S_n=X_1+X_2+\cdots+X_n,\forall n \in \mathbb{N}$
中每个随机变量进行标准化后得到的随机变量序列 $\{S_{n}^{0}\}$ 极限行为, 准确地讲,是考虑标准化后随机变量序列 $\{S_{n}^{0}\}$

的分布函数的极限行为.

事实上, 对于任意的自然数 $n$ , 我们计算 $S_n$ 的标准化可得
$\begin{align*} S_n^{0}&=\frac{S_n-ES_n}{\sqrt{Var(S_n)}}\\ &=\frac{X_1+X_2+\cdots+X_n-E(X_1+X_2+\cdots+X_n)}{\sqrt{Var(X_1+X_2+\cdots+X_n)}}\\ &=\frac{\sum_{i=1}^{n}(X_i-EX_i)}{\sqrt{Var(\sum_{i=1}^{n}X_i})} \end{align*}$
而随机变量 $\{S_{n}^{0}\}$ 的分布函数就是
$\begin{align*} F_{S_{n}^{0}}(x)=p\left(\frac{\sum_{i=1}^{n}(X_i-EX_i)}{\sqrt{Var(\sum_{i=1}^{n}X_{i}})}\leq x\right),\forall x \in \mathbb{R} \end{align*},$
因此中心极限理论的核心是考虑随机变量序列的累计和标准化后的极限分布与标准正态分布进行比较的理论,如果累计和标准化后的极限行为与标准正态分布一致,那么我们就称这个随机变量序列满足中心极限定理.

最后编辑于：2020.05.22 09:20:46

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 213,928评论 6赞 493
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 91,192评论 3赞 387
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 159,468评论 0赞 349
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 57,186评论 1赞 286
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 66,295评论 6赞 386
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 50,374评论 1赞 292
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 39,403评论 3赞 412
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 38,186评论 0赞 269
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 44,610评论 1赞 306
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 36,906评论 2赞 328
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,075评论 1赞 341
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 34,755评论 4赞 337
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 40,393评论 3赞 320
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,079评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,313评论 1赞 267
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 46,934评论 2赞 365
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 43,963评论 2赞 351

大数定律及中心极限定理

0. 随机变量序列的收敛模式

1. 大数定律

2. 中心极限理论

推荐阅读更多精彩内容