uniform机器学习极简入门1--极大似然法

大家好，我是uniform，本人平时关注机器学习和深度学习相关的工作，后续我将会不断推出机器学习&深度学习的入门教程，力图把各个公式结合在一起，给大家呈现不一样的数学和统计。最新的一些业界paper也会后续开相应的专栏来read，希望大家关注。

1 极大似然法的通俗理解

最大似然估计法(MLE:max likelihood estimation)其实就是希望通过样本来估计总体的参数。

已知一个袋子，里面分别装有两种颜色的球（红色和白色），我们有放回地从这个袋子抽取10次，得到8个红色球和2个白色球，求解该袋子的红色球的占比概率。

为了计算这个概率，我们希望最合理的参数应该是使得上述事件发生概率最大的参数。

在参数估计的方法理论上，一直存在两种学派

1 频率派
2 贝叶斯学派

一般我们假设：数据属于独立同分布

今天介绍的最大似然就是频率学派的方法理论，我们假设红色球的概率为p，则白色球的概率为(1-p)，上述描述的事件可以用如下概率表示：

$L=p^8(1-p)^2$

只需要求得上述式子使得L取最大值的p即可。
上述式子求解极值的方法一般是先取对数

$logL=8*logp+2*log(1-p)$

求导得到

$\frac{\partial{logL}}{\partial{p}}=\frac{8}{p}+\frac{-2}{1-p}=0$

$p=\frac{4}{5}$

2 极大似然法的一般式子

通过上述的例子，我们明白了极大似然法如何进行参数估计，我们用更加一般的式子表示如下：
$\theta_{MLE}=argmaxP(D|\theta)$

其中D表示数据集（即上述我们采样的样本），式子表示希望找到某个\theta使得P(D)概率最大。

上面我们提到了MLE属于频率学派的理论基础，然而对于贝叶斯学派，他们认为参数\theta本身不是一个常量，而是应该也服从某个分布（即我们所说的先验分布）。我们先给式子如下：
$P(\theta|D)=\frac{P(D|\theta)*P(\theta)}{\sum{P(D|\theta)*P(\theta)}}$