Part1.概率论四大收敛与三个大数定律
四大收敛:
1.依收敛(Convergence in
)
令,又令随机变量序列
满足
,并令随机变量
满足
若
则称依
收敛于
,记为
2.依分布收敛(Convergence in Distribution)
令随机变量序列对应的分布函数序列为
,随机变量
对应的分布函数为
若对于每个连续点,有
则称依分布收敛于
,记为
3.依概率收敛(Convergence in Probability)
令随机变量序列和随机变量
若,有
则称依概率收敛于
,记为
4.几乎处处收敛(Almost Sure Convergence)
令随机变量序列和随机变量
若,有
则称几乎处处收敛于
,记为
三个大数定律(仅列出简化版本):
1.弱大数定律(Weak Law of Large Numbers,WLLN)
令独立同分布(i.i.d)随机变量序列满足
和
定义,则对
,有
即依概率收敛于
2.强大数定律(Strong Law of Large Numbers,SLLN)
令独立同分布(i.i.d)随机变量序列满足
和
定义
则几乎处处收敛于
3.中心极限定理(Central Limit Theorem,CLT)
令独立同分布(i.i.d)随机变量序列满足
和
定义,有标准化样本
则依分布收敛于正态分布
引理1.相互推导关系
1.1
1.2
1.3
引理2.两个不等式
2.1马尔可夫不等式
设为一随机变量,
为一非负函数,则对
,有
2.2波恩斯坦不等式
令独立同分布(i.i.d)随机变量序列满足零均值且有界支撑
,有
;令
,有
则对,有
引理3.连续性质
3.1若为连续函数,则
3.2若为连续函数,则
3.3若为连续函数,则
引理4.等价性质
4.1渐进等价性(Asymptotic Equivalence)
4.2Slutsky
假设且
为常数,则
1)
2)
Part2.概率论基础和重要不等式
集合、概率、随机变量(三元集):
事件:全空间的子集
事件集:由的子集构成的
代数
随机变量:Borel可测映射
随机变量取值的概率:
对应几乎处处连续的分布函数CDF:
事件就是集合,随机变量的取值对应着某个事件,随机变量取值的概率对应着集合的测度
不可能事件、零概率事件、或然事件、全概率事件、必然事件
集合的上下极限:
事件
至少发生一个
上限事件,发生次数为无限次的事件
事件
同时发生
下限事件,不发生次数为有限次的事件
德·摩根律:
即
即
博雷尔·康特立引理:
(1)若满足
,则
且
(2)若相互独立,则
等价于
且
噶依克·瑞尼不等式:
为独立随机变量序列,
,
为正的非增常数序列
,有
柯尔莫哥洛夫不等式:
为独立随机变量序列,
,有
Declare:
凡是四大收敛的定义法证明,几乎都可以归结为集合的交并补运算
Part3.概率论中特征函数的重要性
数学期望与高阶矩的本质:积分
矩母函数的定义:
设为随机变量,
,有
存在,则
矩母函数与高阶矩的关系:
特征函数的定义:
设为随机变量,
,有
必存在,则
特征函数与高阶矩的关系:
特征函数与分布函数的关系:一一对应
1.逆转公式
分布函数的特征函数为
,又
是
的连续点,则有
2.唯一性定理
分布函数由特征函数
唯一确定,即令
,得
3.海莱第一定理
任意一个一致有界的非降函数列中必有一子序列
,其弱收敛于某一有界的非降函数
4.海莱第二定理及其推广
,且
是
上弱收敛于
的一致有界非降函数序列,且
和
为
的连续点,则
可推广至
5.正极限定理
若分布函数列弱收敛于
,则特征函数列
逐点收敛于
,且在
的任一有限区间内一致收敛
6.逆极限定理
若特征函数列收敛于
,且
在
处连续
则相应弱收敛于
,且
为
的特征函数
四大收敛与特征函数的关系
1.收敛与特征函数
考虑到
2.依分布收敛与特征函数
逐点收敛于
,且在
的任一有限区间内一致收敛
3.依概率收敛&几乎处处收敛与特征函数
逐点收敛于
,且在
内一致收敛
积分运算使得函数的部分信息丧失,进而无法由特征函数直接区分这两种收敛
渐进等价性引理的证明(By 特征函数)
引理.两个函数列之和在内一致收敛,其中一个函数列在
的任一有限区间内一致收敛,则另一个函数列在
的任一有限区间内一致收敛
Slutsky定理的证明(By 集合)
将依概率收敛中的集合
不等式打开
渐进等价性引理与Slutsky定理的关系:
一个依概率收敛,两个依分布收敛->本质相同,表述不同
Conclusion:
博赫纳尔-辛钦定理:
是特征函数
非负定、连续且
随机变量唯一确定集合映射关系,唯一确定分布函数,唯一确定特征函数
随机变量是三元集,分布函数性质较差,而特征函数性质堪称完美
故应当以集合&特征函数的视角研究随机变量与概率论
进入玄学范围,概率的问题,随机变量的问题,在其三元集上讨论,这一做法极其愚蠢
将概率论与卡巴拉生命之树相联系,那么:
<集合>对应于<王座>
<特征函数>对应于<王冠>
若是无视了<集合>这一王座,未曾见<特征函数>这一王冠
只见粗干,甚至于一叶障目
那么概率论到最后也不过是白学了,毫无卵用
书中写遍概率符号
然而在我眼中只有<集合><特征函数>罢了
Tips:
最后附上CLT&WLLN&SLLN的证明梗概,需要详细证明可以查阅相关书籍或者私戳我:
CLT的证明有三种套路:
1.特征函数&海莱定理
2.林德伯格-莱维条件
3.特殊情况下的代数变换
WLLN的证明有两种套路:
1.特征函数的泰勒展开
2.马尔可夫不等式&波恩斯坦不等式&一般化
SLLN的证明有两种套路:
1.特征函数的泰勒展开
2.博雷尔康特立引理&噶依克·瑞尼不等式