EM算法是频率学派的武功，是极大似然法估计的升级版。是带有隐变量的极大似然估计。
典型的应用：GMM、pLSA
正文
算法分成两步：E步和M步
Paste_Image.png
E步：
根据参数初始值或上一次迭代的模型参数来计算出隐性变量的后验概率（分布），其实就是隐性变量的期望。作为隐藏变量的现估计值：
M步：
把似然函数最大化获得新的参数值。
EM算法的难点在于公式的数学推导，尤其是M步。
普世的EM算法，我们只能推导到E步，得到隐变量的后验概率。
而M步，也就是极大似然公式的建立和推导，是需要结合具体的问题的。比如pLSA就带着一个剧复杂的M步推导。
E步推导
Paste_Image.png
Paste_Image.png
M步
似然函数极大
Paste_Image.png
Jensen不等式镇楼
Paste_Image.png
Paste_Image.png
扩展
Paste_Image.png
