最大似然估计与最大后验概率估计

概率与统计

概率是已知模型、参数推数据，而统计是已知数据推模型和参数。
似然和概率是两个意思很相似的词，但含义不同。相当于从不同视角理解同一个东西。
对于函数 P(x|\theta)，其中x为数据，\theta为参数。

  • 若参数\theta是确定的，数据x是未知的，则P叫概率函数。描述的是，对于不同的样本x，其出现时的概率是多少；
  • 若数据x是已知的，参数\theta是未知的，则P就叫似然函数。描述的是，对于不同的参数\theta，出现样本点x的概率是多少；

贝叶斯公式

P(A|B)=\frac{P(B|A)P(A)}{P(B)} = \frac{P(B|A)P(A)}{P(B|A)P(A)+P(B|~A)P(~A)}

最大似然估计

已知一组样本 x_1,x_2,...,x_n，和模型f(x|\theta)，估计其参数\theta。
似然估计认为，已经出现的事件就是发生可能性最大的事件。
任一样本x_i，发生的概率为f(x_i|\theta)。因此对于这组样本，其整体发生的概率，即联合分布概率为 L(x_1;...;x_n|\theta)=\prod _{i=1}^{n}f(x_i|\theta)
只需要对L求极大值即可，一般会根据情况取ln，求导。若不可导，则利用函数特性求解。

最大后验概率估计

最大似然估计时，估计的是 P(x|\theta)（P即f）。而最大后验概率估计，估计的是P(x|\theta)P(\theta)，即将参数本身的概率也考虑进去，既希望概率最大，也希望参数自身先验概率也最大，相当于是一个期望更大值的正则项。举例解释见例子
\frac{P(x|\theta)P(\theta)}{P(x)}=P(\theta|x)，其中P(x)已知了，所以估计P(x|\theta)P(\theta)就是估计P(\theta|x)，即后验概率。
在求解时可将P(\theta)代入，同理求解最大值，得到得到最大后验概率估计。

参考：最大似然与最大后验·理解，二者的具体计算,例子

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容