补充：理解EM算法

EM算法是频率学派的武功，是极大似然法估计的升级版。是带有隐变量的极大似然估计。
典型的应用：GMM、pLSA

正文

算法分成两步：E步和M步


Paste_Image.png

E步：
根据参数初始值或上一次迭代的模型参数来计算出隐性变量的后验概率（分布），其实就是隐性变量的期望。作为隐藏变量的现估计值：

M步：
把似然函数最大化获得新的参数值。

EM算法的难点在于公式的数学推导，尤其是M步。
普世的EM算法，我们只能推导到E步，得到隐变量的后验概率。
而M步，也就是极大似然公式的建立和推导，是需要结合具体的问题的。比如pLSA就带着一个剧复杂的M步推导。

E步推导

Paste_Image.png
Paste_Image.png

M步

似然函数极大

Paste_Image.png

Jensen不等式镇楼


Paste_Image.png
Paste_Image.png

扩展


Paste_Image.png
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容

  • EM算法学习(二)
    在上一篇文章写到了EM算法的收敛性证明以后便匆匆的结尾,然后我出去玩了几天,玩的爽了,回来开始继续补之前的flag...
    云时之间阅读 3,190评论 2赞 8
  • 从最大似然到EM算法浅解
    转载 http://blog.csdn.net/zouxy09 EM算法是一种迭代算法，用于含有隐含变量的概率模型...
    Jlan阅读 2,190评论 1赞 13
  • Hinton和Jordan理解的EM算法
    在“Hinton是如何理解PCA？”里面，我们体会到Hinton高人一等的见解。 Hinton, 这个深度学习的缔...
    史春奇阅读 3,225评论 0赞 13
  • EM算法学习(一)
    EM算法是英文expectation-maximization算法的英文简写,翻译过来就是期望最大化算法,其实是一...
    云时之间阅读 4,387评论 0赞 13
  • EM算法学习(三)
    在前两篇文章中,我们已经大致的讲述了关于EM算法的一些基本理论和一些基本的性质,以及针对EM算法的缺点进行的优化改...
    云时之间阅读 1,135评论 2赞 5