Maximum Likelihood Estimation

假设，X1～Xn具有联合概率分布:

joint probability

在给定观察数据x1～xn的时候，以上的联合概率分布可以看作关于theta的函数。当前分布是离散分布时，该函数也称为the frequency distribution function。

Some Notions:

  1. likelihood of a observed data is defined as:
    lik(theta) = probability of observing the given data as a function of theta

  2. Maximum likelihood estimate - MLE 最大似然估计: 估计使得lik(theta)最大的theta值
    实际意义：估计使得the observed data最有可能的参数值。

  3. 当 Xi 是 i.i.d (identical and independent distribution), likelihood 可以简化为：

likelihood

并且为了简化计算，对likelihood取对数，那么乘积转换成为加法。

log-likelihood

Some Examples

  • Normal Distribution Example
Inference
  • Multinomial Distribution with constraints
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容