极大似然估计ML

极大似然估计是在极大似然原理的基础上衍生出来的一个统计方法。该方法用于通过观察试验数据来评估模型参数，即

“模型已定，参数未知”。

通过若干次试验，观察结果并记录，利用试验的结果来推测某个参数，使得样本出现的概率（这里体现为似然函数）为最大，则称为极大似然估计。
下面我们考虑这样一个例子：
设一个袋子里面有黑白两种球，摸到黑球的概率为p，现在要估计p的值是多少。
我们令总体X为：

总体X表示

则有 X~B(1,p)，服从二项分布。
这时候我们进行有放回的摸球10次，结果用随即变量

x_i

表示，则

x_1,x_2,...,x_{10}

都是来自于总体X的样本，其满足独立同分布。其值为(1,0,1,0,0,0,1,0,0,0)
似然函数（likehood function）是每个样本出现的概率的乘积。

L(p)=\prod _{i=1}^NP(x_i)

则有

L(p)=P^3(1-p)^7

如果 $\hat θ$ 是参数空间中能使似然函数 $l(θ)$ 最大的θ值，则 $\hat θ$ 就应该是“最可能”的参数值，那么 $\hat θ$ 就是θ的极大似然估计量。
所以这时候就是用求偏导的方法，算出使得似然函数最大的值对应的θ。即似然函数偏导为0所对应的θ。

上面就是极大似然的思想。
根据极大似然的思想，我们只需要让 $L(p)$ 最大，对应的 $\hat p$ 就是我们通过ML方法求得的P的估计值。
求解 $L(p)$ 最大，即由
${{dL(p)}\over{dp}}=0$ 确定。
可以解得， $\hat p={k \over N}$ 。然后带入k=3,可以得到 $\hat p=0.3$ 。即取得黑球的概率通过ML估计为0.3。

与之类似的还有，矩估计和贝叶斯估计。
其中矩估计的优点是不需要知道整体的分布，只需要知道整体的矩即可，并且在一般情况下，求解似然函数是非常复杂的事情。
贝叶斯估计，最终得到的θ的估计是一个满足某个分布的随即变量。这种估计方法具有更好的泛化能力。

极大似然估计ML

推荐阅读更多精彩内容