概率论与数理统计知识点小结

随机事件

全概率公式 $P(A) = \sum_{i=1}^nP(A|B_i)P(B_i)$

贝叶斯公式 $P(B_k|A) = \frac{P(A|B_k)P(B_k)}{\sum_{i=}^n)P(A|B_i)P(B_i)}$

排列组合（只能刷题了）

公式： $A_n^r = n(n-1)(n-2)…(n-r+1) = P_n^r$

$C_n^r = \frac{P_n^r}{r!} = \frac{n!}{r!(n-r)!}$

$(a+b)^n = \sum_{i=0}^n C_n^r a^rb^(n-r)$

$C_n^r = C_n^{n-r}$

重复组合，又放回的抽r次： $C_n^{n+r-1}$

随机变量分布及统计量

分布函数

$F(X) =P(X \le x)$

性质：1）单调不减 2） $F(- \infty)= \lim \limits_{x \to -\infty}F(x) = 0 , F(+\infty) =1$ ; 3) 右连续

期望： $EX = \sum_{i=1}^nx_iP(x_i)$

方差： $Var(X) = E[X-EX]^2 = EX^2 -(EX)^2$

协方差： $Cov(X,Y) = E[(X-EX)(Y-EY)] = EXY - EXEY$

相关系数： $Corr(X,Y) = \frac{Cov(X,Y)}{\sigma_X \sigma_Y} \in [-1, 1]$

	分布函数	期望	方差	备注
0-1分布 $b(1,p)$	$P(X=x) = p^x(1-p)^x$	$p$	$p(1-p)$
二项分布 $b(1,p)$	$P(X=k) = C_n^kp^k(1-p)^{(n-k)}$	$np$	$np(1-p)$
泊松分布 $P(\lambda)$	$P(X=k) = \frac{\lambda^k}{k!}e^{-\lambda} \\ \lambda \ge 0, k=0,1,2,...$	$\lambda$	$\lambda$	二项分布分的极极限 $C_n^kp^k(1-p)^k \to \frac{\lambda^k}{k!}e^{-\lambda} (n \to \infty), \lambda = np$
几何分布 $G(p)$		$\frac{1}{p}$
超几何分布 $H(n,M,N)$	$P(X=x) = \frac{C_M^xC_{N_M}^{n-x}}{C_N^n}$	$\frac{nM}{n}$		设有N个产品中，有M个不合格，从中随机不放回的抽n个。其中不合格品为x个的概率
均匀分布 $U(a,b)$	$P(x) = \frac{1}{b-a} \ \ a \le x \le b$	$\frac{a+b}{2}$	$\frac{(b-a)^2}{12}$
指数分布 $Ex p(\lambda)$	$P(x) = \lambda e^{-\lambda x} \ \ x \ge0$ ELSE 0 $x < 0$	$\frac{1}{\lambda}$	$\frac{1}{\lambda^2}$
正态分布 $N(\mu, \sigma^2 )$	$P(x) = \frac{1}{\sqrt{2 \pi }\sigma} e^{-\frac{(x-\mu)^2}{2\sigma^2}}$	$\mu$	$\sigma^2$

切比雪夫不等式 $P(|x-\mu| > \varepsilon) \le \frac{Var(x)}{\varepsilon^2}$

伯努利大数定律：随着n增大，频率与概率有较大偏差的可能性越来越小

$\lim \limits_{x \to \infty} P(|\frac{X_n}{n} -p| > \varepsilon ) = 0$

中心极限定理：对独立同分布随机变量序列（这个共同分布可以是离散的、连续的、正态的、非正态的），只要其共同分布的方差存在，且不为0，那么这n个独立同分布的随机变量之和的分布渐进近似于正态分布。
$Y_n^* = \frac{X_1+X_2+...+X_n}{\sqrt{n} \sigma} \\ \lim \limits_{n \to \infty} P(Y_n^* \le y) =\Phi(y)$

$Y_n^* 为标准化向量，\Phi(x)为正态分布函数。 EX = \mu, Var(X) =\sigma ^2 \ \ (0 < \sigma^2 < \infty )$

样本及抽样分布

简单随机样本 ： iid

统计量：随机变量的函数（不含参数），也是随机变量

三大抽样分布

$\chi^2$ 分布： $\chi^2 = X_1^2 + X_2^2 +...+X_n^2, 记为 \chi^2 \thicksim \chi^2(n)$ 。其中 $X_i \thicksim N(0,1)， n$ 为自由度

可加性： $\chi_1^2(n_1)+\chi_2^2 (n_2) \thicksim \chi^2(n_1+n_2)$
期望方差: $E(\chi^2(n)) = n, D(\chi^2(n)) = 2n$
分位点：单侧分布

$t$ 分布： $t = \frac{X}{\sqrt{Y/n}}，记为t \thicksim t(n)$ 。其中 $X \thicksim N(0,1), Y\thicksim \chi^2(n), n$ 为自由度

more heavily-taled
n趋于无穷大时，附近正态分布
分位点：对称分布

F 分布： $F = \frac{U/n_1}{V/n_2}，记为 F\thicksim F(n_1,n_2)$ 。其中 $U \thicksim \chi^2(n_1), V \thicksim \chi^2(n_2)$

单侧分布
$\frac{1}{F(n_1,n_2)} \thicksim F(n_2, n_1)$
分位点 $F_{1-\alpha} (n_1,n_2) = \frac{1}{F_{\alpha}(n_2,n_1)}$

参数估计

矩估计

多个参数需要多阶矩：
$\mu_1= E(X) \\ \mu_2 = E(X^2) = D(X) + E(X)^2$
最大似然估计
$\prod_{i=1}^n P(x_i;\theta) 使其最大的 \hat{\theta} \\ 最大似然函数 \to 取对数 \to 求导 \to 求参数$
评选标准

无偏性

$\bar{X} \to \mu, \ \ \frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X}) \to \sigma^2$
$E[\frac{1}{n-1}\sum_{i=1}^n (X_i-\bar{X})^2] = \frac{1}{n-1}E[\sum_{i=1}^n(X_i^2 - 2X_i\bar{X} + \bar{X}^2)] \\ =\frac{1}{n-1}E(\sum_{i=1}^n X_i^2 - \sum_{i=1}^n 2X_i\bar{X} + \sum_{i=1}^n\bar{X}^2) \\= \frac{1}{n-1} E(\sum_{i=1}^n X_i^2 - 2n \bar{X}^2 + n\bar{X}^2) \\ = \frac{1}{n-1} (E\sum_{i=1}^n X_i^2 - nE(\bar{X}^2))$
其中
$nE(\bar{X}^2) =n E[(\frac{1}{n}\sum_{i=1}^nX_i)^2] \\= n\frac{1}{n^2} E(\sum_{i=1}^n X_i^2 +2\sum_{i!=j} X_iX_j ) \\ = \frac{1}{n}[\sum_{i=1}^nE(X_i^2) + 2\frac{n(n-1)}{2} E(X_i)E(X_j)) ] \\ = DX + \bar{X}^2 + (n-1)\bar{X}^2 = DX + n\bar{X}^2$
带回可得
$E(S^2) = \frac{1}{n-1}[nDx+n\bar{X}^2 - DX - n\bar{X}^2] = DX = \sigma^2$

有效性
$D(\hat{\theta_1}) \le D(\hat{\theta_2}) , 则 \hat{\theta_1} 更有效$
相合性： $\hat{\theta}(X_1,X_2,...,X_n)$ 依概率收敛于 $\theta$
$\lim \limits_{n \to \infty} P\{ |\hat{\theta} - \theta| < \varepsilon\}= 1$

区间估计

抽样分布.jpeg

假设检验：

总体已知

假设检验.jpeg

假设检验二.jpeg

总体未知

拟合优度检验 ：样本是否来自某个分布 $F(x)$ ，主要思想是当X来自分布F(x)，那么事件的频率与概率的差值不会太大。因此构造统计量：
$\sum_{i=1}^kC_i(\frac{f_i}{n}-p_i)^2 \\ C_i为常数，当C_i= n/p_i 时， \chi^2 = \sum_{i=1}^k\frac{n}{p_i}(\frac{f_i}{n}-p_i)^2 = \sum_{i=1}^k \frac{f_i^2}{np_i} -n \\ 当n充分大，近似服从 \chi^2(k-1)$
第一类错误与第二类错误：因为是控制第一类错误的概率 $\alpha$ ，因此 $H_0$ 是受到保护的，不轻易拒绝原假设。一般选两类错误中后果严重的错误为第一类错误。如果两类错误没有哪一类更严重，常常取 $H_0$ 维持现状。

ANOVA（方差分析）：可以用来比较多组总体的均值

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 205,236评论 6赞 478
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 87,867评论 2赞 381
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 151,715评论 0赞 340
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,899评论 1赞 278
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 63,895评论 5赞 368
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,733评论 1赞 283
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 38,085评论 3赞 399
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,722评论 0赞 258
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 43,025评论 1赞 300
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,696评论 2赞 323
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,816评论 1赞 333
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,447评论 4赞 322
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 39,057评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 30,009评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,254评论 1赞 260
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 45,204评论 2赞 352
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,561评论 2赞 343