概率统计基础概念回顾

蒙特卡罗方法
设计一个随机试验使得随机事件发生的概率与某个未知参数有关。通过重复足够多次，用频率近似逼近概率，从而求得未知参数的估计值，也称为随机模拟法。
伯努利大数定理
设事件A在每次实验中的概率为 $P$ ，将实验独立地进行 $n$ 次， $f_n(A)$ 为事件A发生的频率，则有:<
$\lim\limits_{n\to\infty}f_n(A)=P$

由大数定理，只要 $n$ 充分大，时间A发生的频率就会逼近其概率。由此可推出:
小概率原理：概率很小的事件在一次实验中几乎不可能发生.

全概率公式(The Law of Total Probability)
设随机试验 $E$ 的样本空间 $S$ ， $A$ 为 $E$ 的事件， $B_1,B_2,...B_n$ 为空间S的划分， $P(B_k)>0$ ,则有：
$P(A)=\sum_{k=1}^n{P(A|B_k)P(B_k)}$
贝叶斯公式(Bayes Formula)
设随机试验 $E$ 的样本空间 $S$ ， $A$ 为 $E$ 的事件， $B_1,B_2,...B_n$ 为空间S的划分， $P(B_k)>0$ ,则有：
$P(B_k|A)=\frac{P(A|B_k)P(B_k)}{\sum_{k=1}^nP(A|B_k)P(B_k)}$

事件 $B_k$ 可认为是经验中熟知的或是认定易求的，其概率 $P(B_k)$ 称为先验概率(Prior Probability)
事件 $A$ 提供了新信息的偶发事件，其概率 $P(A)$ 称为后验概率(Posterior Probability)$

自由度(degree of freedom)
自由度指的是计算样本统计量时能自由取值的数值的个数。假设有一个服从i.i.d正态分布的随机变量X的总体，从中随机抽取样本数据 $x_1,x_2,...x_n$ ,样本规模为 $n$ ,观测值为 $x_i$ ，均值为a。现在要利用样本方差对整体方差进行估计，此时样本的自由为 $n-1$ ,因为一旦n-1个数据被选出来，基于均值 $a$ ，第 $n$ 个数一定是已知的。
随机游走(Random Walk)
是一种数学统计模型，由一连串的轨迹所组成，其中每一次都是随机的。它能用来表示不规则的变动形式，如一个人酒后乱步，所形成的随机过程记录。1905年，由卡尔·皮尔逊首次提出。

一维随机游走:纵轴表示当前的位置，横轴表示时间步数

通常，我们可以假设随机游走是以马尔可夫链或马可夫过程的形式出现，但是比较复杂的随机游走则不一定以这种形式出现。在某些限制条件下，会出现一些比较特殊的模式，如醉汉走路（drunkard's walk）或莱维飞行（Lévy flight）。