极大似然估计
在统计学中，最大似然估计（英语：maximum likelihood estimation，缩写为MLE），也称最大概似估计，是用来估计一个概率模型的参数的一种方法。（摘自维基百科）。
What？啥意思？
2471912.jpg
举个生活中最简单的栗子。
假设袋子中有黑白两种颜色的100个球，又放回的取10次球，其中7次是黑球，3次是白球，你猜袋子里面的黑球占多少？
我想你肯定会猜有70个黑球，30个白球。但是为什么？有什么依据吗？我们来推导一下
假设取出黑球的概率是p，取出白球的概率是(1-p)。
p(7黑3白)=p^7 * (1-p)^3
极大似然估计的意思就是当我的黑白球比例是多少的时候，最有可能发生7黑3白这种事件呢？
若max p(7黑3白)，求导等于0即可
p'(7黑3白)=7 * p^6 * (1-p)^3 + (p^7) * 3 * (1-p)^2=0
求得 p=0.7 黑球70个，白球30个 拿走不谢
极大似然估计与最小二乘法关系
最小二乘法损失函数是：
image.png
下面通过公式推导来证明当误差项ξ~N(0,σ^2)时，极大似然估计等同于最小二乘法
WechatIMG26.jpeg
总结
极大似然估计是根据数据估计模型参数的一种方法，这种方法的原理就是如何确定模型参数最有可能得到当前事件，当数据误差项服从标准正态分布时，其结果和最小二乘法一致
