数理统计

1. 三大抽样分布

$\chi^2$ 分布 设 $X_i\sim N(0,1), i=1,2,\cdots,n,$ 则
$\chi^2=X_1^2+X_2^2+\cdots+X_n^2$
记为 $\chi^2\sim\chi^2(n)$

性质

$\chi^2 \sim\Gamma(\frac n2, \frac 12),$ 故具有可加性.
$E\chi^2=n, D\chi^2=2n$

$t$ 分布 设 $X\sim N(0,1), \chi\sim \chi^2(n),$ 且 $X, Y$ 相互独立, 则
$t = {X\over \sqrt{\chi(n)/n}}$
记为 $t\sim t(n)$

性质 t分布的密度函数是偶函数, 因此 $Et=0$

$F$ 分布 $\chi^2(m), \chi^2(n)$ 相互独立
$F={\chi^2(m)/m \over \chi^2(n)/n}$
记为 $F\sim F(m,n)$

性质

$F(m,n)={1\over F(n,m)}$
$F(1,n)=t^2(n)$

2. 样本统计量 $\overline X$ 与 $S^2$

定义样本均值与样本方差

设 $X_i ,i=1,2,\cdots,n$ 是独立同分布的随机变量. 记 $\mu=EX_i, \sigma^2=DX_i$ . 样本均值与样本方差分别定义为
$\overline X=\frac 1n \sum\limits_{i=1}^nX_i~~~~~~\\S^2=\frac{1}{n-1}\sum\limits_{i=1}^n(X_i-\overline X^2)\equiv \frac{1}{n-1}(\sum\limits_{i=1}^n X_i^2 -\overline{X}^2)$
命题
$\begin{align} E\overline X=\mu, &~~~D\overline X = \frac{\sigma^2}{n}\\ ES^2=\sigma^2, &~~~DS^2=\frac{2\sigma^4}{n-1} \end{align}$
即 $S^2$ 是 $\sigma^2$ 的无偏估计.

证明由于 $X_i$ 相互独立, 利用 $E(\sum\limits_{i=1}^n a_iX_i)=\sum\limits_{i=1}^n a_iEX_i$ 与 $D(\sum\limits_{i=1}^n a_iX_i)=\sum\limits_{i=1}^n a_i^2DX_i,$ 立即可得 $E\overline X=\mu, ~D\overline X = \frac{\sigma^2}{n}$ .

又由【3.抽样分布相关定理】中定理一, ${(n-1)S^2\over\sigma^2} \sim \chi^2(n-1),$ 有 $E{(n-1)S^2\over\sigma^2} = E\chi^2(n-1)=n-1,$ $~~D{(n-1)S^2\over\sigma^2} = D\chi^2(n-1)=2(n-1),$ 容易得到 $ES^2=\sigma^2, ~~DS^2=\frac{2\sigma^4}{n-1}.~~\Box$

3. 抽样分布相关定理

定理一 设 $X_1,\cdots,X_n\sim N(\mu,\sigma^2),$ 则

$\overline X \sim N(\mu, \frac {\sigma^2}{n}),$ 也即 $\frac{\overline X-\mu}{\sigma/\sqrt n}\sim N(0,1)$
${(n-1)S^2\over\sigma^2} \sim \chi^2(n-1)$
$\overline X$ 与 $S$ 相互独立

定理二 设 $X_1,\cdots,X_n\sim N(\mu,\sigma^2),$ 则

$\frac{\overline X-\mu}{S/\sqrt n}\sim t(n-1)$

定理三 $X_1,\cdots,X_{m}\sim N(\mu_1,\sigma_1^2),~~ Y_1,\cdots,Y_{n}\sim N(\mu_2,\sigma_2^2),$ 且这两个样本相互独立, 则

$\frac{S_1^2/S^2_2}{\sigma_1^2/\sigma_2^2}\sim F(m-1,n-1)$
当 $\sigma_1^2=\sigma_2^2=\sigma^2$ 时,
$\frac{(\overline X-\overline Y)-(\mu_1-\mu_2)}{s_w\sqrt{\frac1m + \frac 1n }}\sim t(m+n-2)$
其中 $s_w^2=\frac{(m-1)S_1^2+(n-1)S_2^2}{m+n-2}$

4. 分布之间的关系

$Exp(\lambda)=Ga(1,\lambda)$

$\chi^2(n)=Ga(\frac n2,\frac 12)$

$F(1,n)=t^2(n)$

5. 可加性

定义可加性 设 $\mathrm D(\Theta)$ 为某一概率分布, $\Theta\in \R^n,$ 且 $X\sim D(\Theta_1), Y\sim D(\Theta_2),$ $X$ 与 $Y$ 相互独立. 若存在 $\Theta^*\in \mathbb R^n,$ 使得 $X+Y\sim D(\Theta^*),$ 则称分布 $D(\Theta)$ 具有可加性.

具有可加性的分布有: 正态分布, 泊松分布, 二项分布, 伽马分布, 卡方分布.

正态分布的可加性 $X\sim N(\mu_1,\sigma^2), Y\sim B(\mu_2,\sigma^2) \implies Z=X+Y\sim B(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)$

泊松分布的可加性 $X\sim P(\lambda_1),Y\sim P(\lambda_2) \implies Z=X+Y\sim P(\lambda_1+\lambda_2)$

二项分布的可加性 $X\sim B(n,p), Y\sim B(m,p) \implies Z=X+Y\sim B(n+m,p)$

伽马分布的可加性 $X\sim Ga(\alpha_1,\lambda), Y \sim Ga(\alpha_2,\lambda) \implies Z=X+Y \sim Ga(\alpha_1+\alpha_2,\lambda)$

卡方分布的可加性 $\chi_1\sim \chi(m),\chi_2\sim \chi(n) \implies \chi=\chi_1+\chi_2\sim \chi(m+n)$

6. 参数估计与假设检验

矩估计

矩估计的核心思想为: 用样本矩估计总体矩. 其中

样本矩 $A_l=\frac{1}{n}\sum\limits_{i=1}^n X_i^l,$ 总体矩 $E(X^l)$

矩估计即为, $\widehat{E(X^l)}=A_l$

区间估计与假设检验

区间估计

对于给定的显著性水平 $\alpha, P(a<\theta<b)=1-\alpha,$ 则 $(a,b)$ 就是 $\theta$ 的 $1-\alpha$ 置信区间. 利用 $\alpha$ 确定 $a,b$ .

参数 $\theta$ 的置信度为 $1-\alpha$ 的置信区间为 $(\hat \theta_L,\hat\theta_R),$ 其含义是, 区间 $(\hat \theta_L,\hat\theta_R)$ 盖住 $\theta$ 的概率(称为置信水平)为 $1-\alpha$ .

例如, $X_i \sim N(\mu,\sigma^2),$ 则 $Z=\frac{\overline X- \mu} {\sigma/\sqrt n} \sim N(0,1)$ . 为估计 $\mu,$ 有 $1-\alpha = P(-z_\frac \alpha 2 \leqslant \frac{\overline X- \mu} {\sigma/\sqrt n} \leqslant z_\frac \alpha 2),$ $\mu$ 的 $1-\alpha$ 置信区间为 $(\overline X- \frac{\sigma}{\sqrt n} z_\frac \alpha 2, \overline X+ \frac{\sigma}{\sqrt n}z_\frac \alpha 2)$ . 注意此处为上侧 $\alpha$ 分位数.

image-20200902120934058.png

假设检验

假设检验的思想: 如 $\frac{\overline X- \mu} {\sigma/\sqrt n},$ $\overline X$ 与 $\mu$ 的距离越大, 越倾向于被拒绝.

步骤: 写出拒绝域,判断架设之是否在拒绝域内. 例如, $\mu, \sigma^2$ 均未知时, 求 $H_0: \mu=\mu_0, H_1: \mu \neq \mu_0$ 的检验问题, $t=\frac{\overline X- \mu} {S/\sqrt n}\sim t(n-1),$ 拒绝域为 $|t|=|\frac{\overline X- \mu} {S/\sqrt n}|\geqslant t_{\alpha/2}(n-1)$ .