数理统计--参数估计复习梳理

基本概念

总体、样本、统计量
参数估计
简单随机样本

估计

估计方法

（一）、最大似然估计方法

步骤：

求密度函数
$X\sim f(x,\theta)$

写出似然函数、取对数（连乘变累加）
$L(x_1,\cdots,x_n;\theta) = \prod_{i=1}^nf(x_i,\theta)$ $\ln L(x_1,\cdots,x_n;\theta) = \sum_{i=1}^n\ln f(x_i,\theta)$

求导得到似然方程组、解出最大似然估计
$\frac{\partial \ln L(\theta)}{\partial \theta_1}=0,\cdots, \frac{\partial \ln L(\theta)}{\partial \theta_1}=0$

（二）、矩法估计

步骤：
设随机变量 $X$ 的密度函数为 $f(x,\theta)$ ，其中 $\theta=(\theta_1,\cdots,\theta_m)$ 是未知参数。若 $X$ 的 $k$ 阶原点矩 $V_k = E X^k$ 存在，则 $V_k$ 是 $\theta_1,\cdots,\theta_m$ 的函数，记为 $g_k(\theta_1,\cdots,\theta_m)~(k=1,2,\cdots)$ 。

把矩写成 $\theta$ 的函数
$g_1(\theta_1,\cdots,\theta_m)=V_1,$ $g_2(\theta_1,\cdots,\theta_m)=V_2,$ $\vdots$ $g_m(\theta_1,\cdots,\theta_m)=V_m$

解出 $\theta$ 的矩表达式
$\theta_1=f_1(V_1,\cdots,V_m),$ $\theta_2=f_2(V_1,\cdots,V_m),$ $\vdots$ $\theta_m=f_m(V_1,\cdots,V_m)$

代入样本矩 $\hat V_k = \frac1n \sum_{i=1}^n x_i^k$
则 $\hat{\theta_k} = f_k(\hat V_1,\cdots,\hat V_m)$

估计的优良性标准

（一）、无偏估计（估计的期望等于待估参数）

定义： 称 $\varphi(X_1,\cdots,X_n)$ 是 $g(\theta)$ 的无偏估计，若
$E_{\theta}\varphi(X_1,\cdots,X_n)=g(\theta)$

（二）、均方误差
$M_\theta(\varphi) = E_{\theta}[\varphi(X_1,\cdots,X_n)-g(\theta)]^2$

均方误差越小，估计越有效。当 $\varphi$ 为无偏估计时， $\varphi$ 的均方误差就是 $\varphi$ 的方差。

（三）、（一致）最小方差无偏估计

定义： 设 $\varphi(X_1,\cdots,X_n)$ 是 $g(\theta)$ 的无偏估计，且对于一切无偏估计 $\psi(X_1,\cdots,X_n)$ 均有 $M_\theta(\varphi)\leq M_\theta(\psi)$ 对一切 $\theta$ 成立，则称 $\varphi$ 为 $g(\theta)$ 的（一致）最小方差无偏估计。

（一致）最小方差无偏估计求解

（一）、统计量的充分性

定义： 当统计量 $T$ 的取值 $T=t$ 给定后，样本的条件分布
$F(x_1,\cdots,x_n;\theta|T=t)=F(x_1,\cdots,x_n|T=t)$
即条件分布不再依赖总体分布（或总体参数）。则称统计量 $T$ 是充分统计量

（二）、指数型分布族的充分统计量

指数型分布族： 设 $X$ 服从指数型分布族，即密度为
$f(x,\theta) = S(\theta)h(x)\exp\{\sum\limits_{k=1}^mC_k(\theta)T_k(x) \},$ 其中 $\theta = (\theta_1,\cdots,\theta_m)\in \Theta$ , $S(\theta)\geq 0,h(x)\geq 0$ , $\Theta$ 是 $m$ 维欧式空间中的开集。

此时样本 $(X_1,\cdots,X_n)$ 的联合密度函数（或概率函数）为
$\prod_1^nf(x_i,\theta) = [S(\theta)]^n\prod_{i=1}^n h(x_i)\exp\{\sum_{k=1}^mC_k(\theta)\sum_{i=1}^nT_k(x_i) \}$

结论： $\varphi(X_1,\cdots,X_n)$ = $(\sum_1^nT_1(X_i),\cdots,\sum_1^nT_m(X_i))$ 是 $\theta$ 的充分统计量。

（三）、统计量的完全性

定义： 若对任何（博雷尔可测）函数 $u(\cdot)$ ,只要 $E_\theta u[\varphi(X_1,\cdots,X_n)]=0$ 对一切 $\theta$ 成立，就可以推出 $\forall \theta,\quad P_\theta(u[\varphi(X_1,\cdots,X_n)]=0)=1$

结论： 若参数 $\theta$ 的集合 $\Theta$ 有内点，则指数型分布族的充分统计量是完全的。

（四）、（一致）最小方差无偏估计的求解方式

Blackwell-Lehmann-Scheffe定理： 若 $\varphi(X_1,\cdots,X_n)$ 是完全的充分统计量， $\psi[\varphi(X_1,\cdots,X_n)]$ 是 $g(\theta)$ 的无偏估计，则 $\psi[\varphi(X_1,\cdots,X_n)]$ 就是 $g(\theta)$ 的最小方差无偏估计。

C-R不等式： 设 $X$ 的密度函数是 $f(x,\theta)$ ,这里 $\theta$ 是参数， $\theta\in (a,b)~(-\infty \leq a<b\leq \infty)$ . $X_1,\cdots,X_n$ 是 $X$ 的样本， $\psi(X_1,\cdots,X_n)$ 是 $g(\theta)$ 的一个无偏估计，且满足下列正则性条件：
（1） $E = \{ x:f(x,\theta\neq 0) \}$ 与 $\theta$ 无关;
（2） $g'(\theta)$ 和 $\frac{\partial f(x,\theta)}{\partial \theta}$ 都存在且对一切 $\theta$ 有
$\int_{-\infty}^\infty\frac{\partial f(x,\theta)}{\partial \theta}dx = 0$ $\int_{-\infty}^\infty\cdots\int_{-\infty}^\infty\frac{\partial}{\partial \theta}\{ \prod_{i=1}^nf(x_i,\theta) \}d\underline{x}=0$ $\begin{array}{c} \frac{\partial}{\partial \theta} \int_{-\infty}^\infty\cdots \int_{-\infty}^\infty\psi(\underline{x}) \prod_{i=1}^nf(x_i,\theta) d\underline{x}\\ =\int_{-\infty}^\infty\cdots \int_{-\infty}^\infty \psi(\underline{x}) \frac{\partial}{\partial \theta} \prod_{i=1}^nf(x_i,\theta) d\underline{x}\\ \end{array}$
这里及下面记 $\underline{x} = (x_1,\cdots,x_n)$ ， $d\underline{x}=dx_1\cdots dx_n$ ;
（3） $I(\theta)=\int_E\left( \frac{\partial \ln f(x,\theta)}{\partial \theta} \right)^2 f(x,\theta)dx>0,$
则有
$Var_\theta (\psi(X_1,\cdots,X_n))\geq \frac{[g'(\theta)]^2}{nI(\theta)}.$
若无偏估计的方差达到了C-R下界，则该估计必为最小方差无偏估计

最后编辑于：2019.03.15 14:59:12

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 226,913评论 6赞 527
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 97,710评论 3赞 412
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 174,561评论 0赞 373
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 62,278评论 1赞 306
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 71,080评论 6赞 405
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 54,604评论 1赞 320
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 42,698评论 3赞 434
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 41,847评论 0赞 285
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 48,361评论 1赞 329
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 40,330评论 3赞 353
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 42,487评论 1赞 365
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 38,044评论 5赞 355
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 43,738评论 3赞 342
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 34,134评论 0赞 25
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 35,378评论 1赞 281
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 51,053评论 3赞 385
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 47,471评论 2赞 370

数理统计--参数估计复习梳理

基本概念

估计

估计方法

估计的优良性标准

（一致）最小方差无偏估计求解

推荐阅读更多精彩内容