数理统计--参数估计复习梳理

基本概念

总体、样本、统计量
参数估计
简单随机样本

估计

估计方法

（一）、最大似然估计方法

步骤：

求密度函数
$X\sim f(x,\theta)$

写出似然函数、取对数（连乘变累加）
$L(x_1,\cdots,x_n;\theta) = \prod_{i=1}^nf(x_i,\theta)$ $\ln L(x_1,\cdots,x_n;\theta) = \sum_{i=1}^n\ln f(x_i,\theta)$

求导得到似然方程组、解出最大似然估计
$\frac{\partial \ln L(\theta)}{\partial \theta_1}=0,\cdots, \frac{\partial \ln L(\theta)}{\partial \theta_1}=0$

（二）、矩法估计

步骤：
设随机变量 $X$ 的密度函数为 $f(x,\theta)$ ，其中 $\theta=(\theta_1,\cdots,\theta_m)$ 是未知参数。若 $X$ 的 $k$ 阶原点矩 $V_k = E X^k$ 存在，则 $V_k$ 是 $\theta_1,\cdots,\theta_m$ 的函数，记为 $g_k(\theta_1,\cdots,\theta_m)~(k=1,2,\cdots)$ 。

把矩写成 $\theta$ 的函数
$g_1(\theta_1,\cdots,\theta_m)=V_1,$ $g_2(\theta_1,\cdots,\theta_m)=V_2,$ $\vdots$ $g_m(\theta_1,\cdots,\theta_m)=V_m$

解出 $\theta$ 的矩表达式
$\theta_1=f_1(V_1,\cdots,V_m),$ $\theta_2=f_2(V_1,\cdots,V_m),$ $\vdots$ $\theta_m=f_m(V_1,\cdots,V_m)$

代入样本矩 $\hat V_k = \frac1n \sum_{i=1}^n x_i^k$
则 $\hat{\theta_k} = f_k(\hat V_1,\cdots,\hat V_m)$

估计的优良性标准

（一）、无偏估计（估计的期望等于待估参数）

定义： 称 $\varphi(X_1,\cdots,X_n)$ 是 $g(\theta)$ 的无偏估计，若
$E_{\theta}\varphi(X_1,\cdots,X_n)=g(\theta)$

（二）、均方误差
$M_\theta(\varphi) = E_{\theta}[\varphi(X_1,\cdots,X_n)-g(\theta)]^2$

均方误差越小，估计越有效。当 $\varphi$ 为无偏估计时， $\varphi$ 的均方误差就是 $\varphi$ 的方差。

（三）、（一致）最小方差无偏估计

定义： 设 $\varphi(X_1,\cdots,X_n)$ 是 $g(\theta)$ 的无偏估计，且对于一切无偏估计 $\psi(X_1,\cdots,X_n)$ 均有 $M_\theta(\varphi)\leq M_\theta(\psi)$ 对一切 $\theta$ 成立，则称 $\varphi$ 为 $g(\theta)$ 的（一致）最小方差无偏估计。

（一致）最小方差无偏估计求解

（一）、统计量的充分性

定义： 当统计量 $T$ 的取值 $T=t$ 给定后，样本的条件分布
$F(x_1,\cdots,x_n;\theta|T=t)=F(x_1,\cdots,x_n|T=t)$
即条件分布不再依赖总体分布（或总体参数）。则称统计量 $T$ 是充分统计量

（二）、指数型分布族的充分统计量

指数型分布族： 设 $X$ 服从指数型分布族，即密度为
$f(x,\theta) = S(\theta)h(x)\exp\{\sum\limits_{k=1}^mC_k(\theta)T_k(x) \},$ 其中 $\theta = (\theta_1,\cdots,\theta_m)\in \Theta$ , $S(\theta)\geq 0,h(x)\geq 0$ , $\Theta$ 是 $m$ 维欧式空间中的开集。

此时样本 $(X_1,\cdots,X_n)$ 的联合密度函数（或概率函数）为
$\prod_1^nf(x_i,\theta) = [S(\theta)]^n\prod_{i=1}^n h(x_i)\exp\{\sum_{k=1}^mC_k(\theta)\sum_{i=1}^nT_k(x_i) \}$

结论： $\varphi(X_1,\cdots,X_n)$ = $(\sum_1^nT_1(X_i),\cdots,\sum_1^nT_m(X_i))$ 是 $\theta$ 的充分统计量。

（三）、统计量的完全性

定义： 若对任何（博雷尔可测）函数 $u(\cdot)$ ,只要 $E_\theta u[\varphi(X_1,\cdots,X_n)]=0$ 对一切 $\theta$ 成立，就可以推出 $\forall \theta,\quad P_\theta(u[\varphi(X_1,\cdots,X_n)]=0)=1$

结论： 若参数 $\theta$ 的集合 $\Theta$ 有内点，则指数型分布族的充分统计量是完全的。

（四）、（一致）最小方差无偏估计的求解方式

Blackwell-Lehmann-Scheffe定理： 若 $\varphi(X_1,\cdots,X_n)$ 是完全的充分统计量， $\psi[\varphi(X_1,\cdots,X_n)]$ 是 $g(\theta)$ 的无偏估计，则 $\psi[\varphi(X_1,\cdots,X_n)]$ 就是 $g(\theta)$ 的最小方差无偏估计。

C-R不等式： 设 $X$ 的密度函数是 $f(x,\theta)$ ,这里 $\theta$ 是参数， $\theta\in (a,b)~(-\infty \leq a<b\leq \infty)$ . $X_1,\cdots,X_n$ 是 $X$ 的样本， $\psi(X_1,\cdots,X_n)$ 是 $g(\theta)$ 的一个无偏估计，且满足下列正则性条件：
（1） $E = \{ x:f(x,\theta\neq 0) \}$ 与 $\theta$ 无关;
（2） $g'(\theta)$ 和 $\frac{\partial f(x,\theta)}{\partial \theta}$ 都存在且对一切 $\theta$ 有
$\int_{-\infty}^\infty\frac{\partial f(x,\theta)}{\partial \theta}dx = 0$ $\int_{-\infty}^\infty\cdots\int_{-\infty}^\infty\frac{\partial}{\partial \theta}\{ \prod_{i=1}^nf(x_i,\theta) \}d\underline{x}=0$ $\begin{array}{c} \frac{\partial}{\partial \theta} \int_{-\infty}^\infty\cdots \int_{-\infty}^\infty\psi(\underline{x}) \prod_{i=1}^nf(x_i,\theta) d\underline{x}\\ =\int_{-\infty}^\infty\cdots \int_{-\infty}^\infty \psi(\underline{x}) \frac{\partial}{\partial \theta} \prod_{i=1}^nf(x_i,\theta) d\underline{x}\\ \end{array}$
这里及下面记 $\underline{x} = (x_1,\cdots,x_n)$ ， $d\underline{x}=dx_1\cdots dx_n$ ;
（3） $I(\theta)=\int_E\left( \frac{\partial \ln f(x,\theta)}{\partial \theta} \right)^2 f(x,\theta)dx>0,$
则有
$Var_\theta (\psi(X_1,\cdots,X_n))\geq \frac{[g'(\theta)]^2}{nI(\theta)}.$
若无偏估计的方差达到了C-R下界，则该估计必为最小方差无偏估计