概率论（七）：参数估计

点估计

一个适当的统计量

\hat{\theta }(X_1,X_2,\dots,X_n)

，用它的观察值

\hat{\theta }(x_1,x_2,\dots,x_n)

作为未知参数

\theta

的近似值。于是称

\hat{\theta }

为

\theta

的估计量，其观察值则为估计值。

矩估计法

一般来说，样本矩的连续函数依概率收敛于相应的总体矩的连续函数。于是我们可以用样本矩作为相应的总体矩的估计量，这种方法称为矩估计法。

最大似然估计法

假设总体

X

属离散型，其分布律

P\left \{X=x \right \}=p(x;\theta),\theta \in \Theta

\theta

为待估计参数，

\Theta

为

\theta

可能取值的范围。设

X_1,X_2,\dots,X_n

是来自

X

的样本，则

X_1,X_2,\dots,X_n

的联合分布律为

\prod_{i=1}^{n}p(x_i;\theta)

,又设

x_1,x_2,\dots,x_n

是相应于样本

X_1,X_2,\dots,X_n

的一个样本值。那么样本

X_1,X_2,\dots,X_n

取到观察值

x_1,x_2,\dots,x_n

的概率

L(\theta)=L(x_1,x_2,\dots,x_n;\theta)=\prod_{i=1}^{n}p(x_i;\theta),\theta \in \Theta

,其中

\theta

为未知数，

x_1,x_2,\dots,x_n

皆是已知的常数。

L(\theta)

称为样本的似然函数

固定样本观察值

x_1,x_2,\dots,x_n

,在

\Theta

内挑选使似然函数

L(x_1,x_2,\dots,x_n;\theta)

达到最大的参数值

\hat{\theta }

,作为参数

\theta

的估计值：

L(x_1,x_2,\dots,x_n;\hat{\theta })=max_{\theta \in \Theta }L(x_1,x_2,\dots,x_n;\theta)

,得到的统计量

\hat{\theta }

称为参数

\theta

的最大似然估计量。

对于连续型总体来说，亦是如此。

一般我们可以通过

\frac{d}{d\theta}lnL(\theta)=0

对数似然方程来求得最大似然估计

\theta

。

估计量的评选标准

无偏性

若估计量

\hat{\theta }

的数学期望

E(\hat{\theta })

存在,且对于任意

\theta \in \Theta

有

E(\hat{\theta })=\theta

,则称

\hat{\theta }

是

\theta

的无偏估计量。

有效性

假如

\hat{\theta }_1

与

\hat{\theta }_2

都是

\theta

的无偏估计量，若对于任意

\theta \in \Theta

,有

D(\hat{\theta }_1)\leqslant D( \hat{\theta }_2 )

,且至少对于某一个

\theta \in \Theta

上式中的不等式成立，则称

\hat{\theta }_1

较

\hat{\theta }_2

有效。

区间估计

正态总体均值与方差的区间估计

单个总体的情况

均值
$\mu$

的置信区间

$\sigma^2$

为已知，由
$\frac{\overline{X}-\mu}{\sigma / \sqrt{n}}$

得
$\mu$

的一个置信水平为
$1-\alpha$

的置信区间
$(\overline{X}\pm \frac{\sigma}{ \sqrt{n} }z_{\alpha/2})$
$\sigma^2$

为未知，由
$\frac{\overline{X}-\mu}{S / \sqrt{n}} \sim t(n-1)$

得
$\mu$

的一个置信水平为
$1-\alpha$

的置信区间
$(\overline{X}\pm \frac{S }{ \sqrt{n} }t_{\alpha/2}(n-1))$

方差
$\sigma^2$

的置信区间

$\mu$

未知，由
$\frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)$

得
$\sigma^2$

的一个置信水平为
$1-\alpha$

的置信区间

两个总体的情况

两个总体均值差的置信区间

$\sigma_1^2,\sigma_2^2$

均为已知，由
$\overline{X}-\overline{Y}\sim N(\mu_1-\mu_2,\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2})$

得
$\mu_1-\mu_2$

的一个置信水平为
$1-\alpha$

的置信区间
$(\overline{X}-\overline{Y}\pm z_{\alpha/2}\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2} })$
$\sigma_1^2=\sigma_2^2=\sigma^2$

，但
$\sigma^2$

未知，由
$\frac{(\overline{X}-\overline{Y})-(\mu_1-\mu_2) }{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2} }} \sim t(n_1+n_2-2)$

得
$\mu_1-\mu_2$

的一个置信水平为
$1-\alpha$

的置信区间