贝叶斯公式，全概率公式，指数分布、均匀分布、泊松分布、二项分布公式，中心极限定理，大数定律，切比雪夫，Markov性，李雅普诺夫稳定性，Type I Error，
1、古典概型
（1）定义：
（1） 试验中所有可能出现的基本事件只有有限个；
（2） 试验中每个基本事件出现的可能性相等。
具有以上两个特点的概率模型是大量存在的，这种概率模型称为古典概率模型，简称古典概型，也叫等可能概型。
（2）性质
有限性（所有可能出现的基本事件只有有限个）
等可能性（每个基本事件出现的可能性相等）
2、概率密度函数
一个函数如果满足如下条件，则可以称为概率密度函数：
为什么叫概率密度函数呢，其原因如下：
概率密度函数与概率分布函数有如下关系:
对分布函数求导即可得出概率密度函数。
3、概率分布函数（累计概率函数）
分布函数是概率密度函数的变上限积分，它定义为：
4、联合分布
5、期望方差
6、边缘分布
7、切比雪夫不等式
对任意b>0
（1）测度论说法
设(X,Σ,μ)为一测度空间，f为定义在X上的广义实值可测函数。则对于任意实数t>0,有：
一般而言，若g是非负广义实值可测函数，在f的定义域非降，则有：
上面的陈述，可透过以|f|取代f，再取如下定义而得：
（2）概率论说法
设X为随机变量，期望值为u ，标准差为σ 。对于任何实数k>0
8、大数定律
实验次数越多，样本均值趋向于总体的均值
大数定理将属于数理统计的平均值和属于概率论的期望联系在了一起。
9、中心极限定理
实验次数越多，样本均值的分布趋向于正态分布。
中心极限定理指的是给定一个任意分布的总体。我每次从这些总体中随机抽取 n 个抽样，一共抽 m 次。 然后把这 m 组抽样分别求出平均值。 这些平均值的分布接近正态分布。
10、参数估计
（1）定义
参数估计（parameter estimation），统计推断的一种。根据从总体中抽取的随机样本来估计总体分布中未知参数的过程。
（2）分类
从估计形式看，区分为点估计与区间估计：
从构造估计量的方法讲，有矩法估计、最小二乘估计、似然估计、贝叶斯估计等。
（3）要处理的问题：
（1）求出未知参数的估计量；
（2）在一定信度（可靠程度）下指出所求的估计量的精度。
其中，信度一般用概率表示，如可信程度为95%；精度用估计量与被估参数（或待估参数）之间的接近程度或误差来度量。
（4）常见方法介绍
①矩估计法
用样本矩估计总体矩，从而得到总体分布中参数的一种估计。它的思想实质是用样本的经验分布和样本矩去替换总体的分布和总体矩。矩估计法的优点是简单易行, 并不需要事先知道总体是什么分布。缺点是，当总体类型已知时，没有充分利用分布提供的信息。一般场合下，矩估计量不具有唯一性。
②最大似然估计法。
于1912年由英国统计学家R.A.费希尔提出，利用样本分布密度构造似然函数来求出参数的最大似然估计。
③最小二乘法
最小二乘法形容的是一种思想，即待估计参数的真值与实际的样本的真值的数据点形成的损失应该是最小的。即让总的误差的平方最小的就是真值，这是基于，如果误差是随机的，应该围绕真值上下波动
求解上式得到的y即为我们估计的参数值。参考马同学知乎回答
④贝叶斯估计法。
11、置信区间
12、贝叶斯理论
参考知乎用户微调
（1）、基础概念
先验概率：
指根据以往经验和分析。在实验或采样前就可以得到的概率。
先验概率是指根据以往经验和分析得到的概率,如全概率公式,它往往作为"由因求果"问题中的"因"出现。
抛硬币，神告诉我们这种硬币出现正面的概率 。p(1)=0.8，p(0)=0.2。这里的p(1)=0.8，p(0)=0.2就叫做先验概率。指的是在观测前我们就已知的结果概率分布 p(y)。此处我们不需要观测硬币尺寸，就可以大胆推测硬币的正反。
后验概率：
指某件事已经发生，想要计算这件事发生的原因是由某个因素引起的概率。
后验概率是指依据得到"结果"信息所计算出的最有可能是那种事件发生,如贝叶斯公式中的,是"执果寻因"问题中的"因"。
抛硬币，前文提到的估算方法是很不准确的，因为没有考虑到硬币的属性。现实情况中我们往往可以观测到硬币的一些属性，而非完全一无所知。
因此，我们尝试回答：“当我观测到硬币大小时，它正面朝上的概率是多少？”
用数学语言表达就是估计p(y=1|X)。相似的，p(y=0|X) 代表当我们观测到硬币属性X时，它被投掷后是反面的概率。
这里p(y=1|X)，p(y=0|X)叫做后验概率（posterior probability），指的是在观测到X后我们对结果y的估计。
先验概率和后验概率间的关系
简单来看，后验概率可以被看做是对先验概率的一种“更加细致的刻画和更新“，因为此时我们观测到了X，有了额外的信息。
所以预测的准确度得到了加强。而大部分机器学习模型尝试得到的，就是后验概率。
例子
我们多举几个例子来理解：
例子1：
最近天气炎热，我来到超市准备买个西瓜，可是没有太多的经验，不知道怎么样才能挑个熟瓜。这时候，作为理科生，喔就有这样的考虑：
如果我对这个西瓜没有任何了解，包括瓜的颜色、形状、瓜蒂是否脱落。按常理来说，西瓜成熟的概率大概是 60%。那么，这个概率 P(瓜熟) 就被称为先验概率。
也就是说，先验概率是根据以往经验和分析得到的概率，先验概率无需样本数据，不受任何条件的影响。就像红色石头只根据常识而不根据西瓜状态来判断西瓜是否成熟，这就是先验概率。
再来看，红色石头以前学到了一个判断西瓜是否成熟的常识，就是看瓜蒂是否脱落。一般来说，瓜蒂脱落的情况下，西瓜成熟的概率大一些，大概是 75%。如果把瓜蒂脱落当作一种结果，然后去推测西瓜成熟的概率，这个概率 P(瓜熟 | 瓜蒂脱落) 就被称为后验概率。后验概率类似于条件概率。
例子2：
玩英雄联盟占到中国总人口的60%，不玩英雄联盟的人数占到40%：
为了便于数学叙述，这里我们用变量X来表示取值情况，根据概率的定义以及加法原则，我们可以写出如下表达式：
P(X=玩lol)=0.6；P(X=不玩lol)=0.4，这个概率是统计得到的，即X的概率分布已知，我们称其为先验概率(prior probability)；
另外玩lol中80%是男性，20%是小姐姐,不玩lol中20%是男性，80%是小姐姐,这里我用离散变量Y表示性别取值，同时写出相应的条件概率分布：
P(Y=男性|X=玩lol)=0.8，P(Y=小姐姐|X=玩lol)=0.2
P(Y=男性|X=不玩lol)=0.2，P(Y=小姐姐|X=不玩lol)=0.8
那么我想问在已知玩家为男性的情况下，他是lol玩家的概率是多少：
依据贝叶斯准则可得：
P(X=玩lol|Y=男性)=P(Y=男性|X=玩lol)*P(X=玩lol)/
[ P(Y=男性|X=玩lol)P(X=玩lol)+P(Y=男性|X=不玩lol)P(X=不玩lol)]
最后算出的P(X=玩lol|Y=男性)称之为X的后验概率，即它获得是在观察到事件Y发生后得到的
例子3
隔壁老王要去10公里外的一个地方办事，他可以选择走路，骑自行车或者开车，并花费了一定时间到达目的地。
在这个事件中，可以把交通方式（走路、骑车或开车）认为是原因，花费的时间认为是结果。若老王花了一个小时的时间完成了10公里的距离，那么很大可能是骑车过去的，当然也有较小可能老王是个健身达人跑步过去的，或者开车过去但是堵车很严重。
若老王一共用了两个小时的时间完成了10公里的距离，那么很有可能他是走路过去的。若老王只用了二十分钟，那么很有可能是开车。这种先知道结果，然后由结果估计原因的概率分布，p(交通方式|时间)，就是后验概率。
老王早上起床的时候觉得精神不错，想锻炼下身体，决定跑步过去；也可能老王想做个文艺青年试试最近流行的共享单车，决定骑车过去；也可能老王想炫个富，决定开车过去。老王的选择与到达目的地的时间无关。先于结果，确定原因的概率分布，p(交通方式)，就是先验概率。
（2）如何得到后验概率---贝叶斯公式
后验概率无法直接获得，因此我们需要找到方法来计算它，而解决方法就是引入贝叶斯公式。后验概率这种表达叫做条件概率（conditional probability），一般写作p(A|B)，即仅当B事件发生时A发生的的概率。我们由条件概率计算公式很容易得到
通过上面的贝叶斯公式就可以计算出后验概率了。
13、马尔可夫性
当一个随机过程在给定现在状态及所有过去状态情况下，其未来状态的条件概率分布仅依赖于当前状态；换句话说，在给定现在状态时，它与过去状态（即该过程的历史路径）是条件独立的，那么此随机过程即具有马尔可夫性质。具有马尔可夫性质的过程通常称之为马尔可夫过程。
14、李雅普诺夫稳定性
在自动控制领域中，李雅普诺夫稳定性（英语：Lyapunov stability，或李亚普诺夫稳定性）可用来描述一个动力系统的稳定性。如果此动力系统任何初始条件在平衡态附近的轨迹均能维持在平衡态附近，那么可以称为在处李雅普诺夫稳定。
若任何初始条件在平衡态附近的轨迹最后都趋近，那么该系统可以称为在处渐近稳定。指数稳定可用来保证系统最小的衰减速率，也可以估计轨迹收敛的快慢。
李雅普诺夫稳定性可用在线性及非线性的系统中。不过线性系统的稳定性可由其他方式求得，因此李雅普诺夫稳定性多半用来分析非线性系统的稳定性。李亚普诺夫稳定性的概念可以延伸到无限维的流形，即为结构稳定性，是考虑微分方程中一群不同但“接近”的解的行为。输入-状态稳定性（ISS）则是将李雅普诺夫稳定性应用在有输入的系统。
15、Type I ERROR && Type II ERROR
（1）、概念介绍
统计学中有2种假设，原假设和备择假设。
在原假设会发生的时候，我们计算出来p-value==0.05，认为此事件不会发生，拒绝原假设了，此时我们就会犯第一类错误。(违背小概率事件原理)
在原假设不会发生的时候，我们计算出来p-value==0.95，认为此事件会发生，接受原假设了，此时我们就会犯第二类错误。(违背小概率事件原理)
（2）、实际操作时要注意的事项
实际进行假设检验时候，我们要优先避免第一类错误，其次第二类错误。
因为假设检验是具有偏袒性的，只有假设检验拒绝原假设的时候(按照小概率事件下结论)，假设检验的正确性才较高，拒绝原假设时我们要尽量避免错误拒绝，因此我们要避免第一类错误。
假设检验在接受原假设的时候，“其结论时很弱的”，一般我们不回让这种结果出现，尽量拒绝原假设。
16、参考：
https://zhuanlan.zhihu.com/p/55780975
https://zhuanlan.zhihu.com/p/26464206
https://zhuanlan.zhihu.com/p/39125269
https://www.zhihu.com/question/24261751/answer/158547500
《概率论与数理统计》第四版
