1. 似然函数
在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。
似然函数在统计推断中有重大作用，如在最大似然估计和费雪信息之中的应用等等。“似然性”与“或然性”或“概率”意思相近，都是指某种事件发生的可能性，但是在统计学中，“似然性”和“或然性”或“概率”又有明确的区分。
概率 用于在已知一些参数的情况下，预测接下来的观测所得到的结果，而
似然性 则是用于在已知某些观测所得到的结果时，对有关事物的性质的参数进行估计。
最大似然估计你可以把它看作是一个反推。多数情况下我们是根据已知条件来推算结
果，而最大似然估计是已经知道了结果，然后寻求使该结果出现的可能性最大的条件，以此作为估计值。
极大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。最大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。
求最大似然函数估计值的一般步骤：
（1）写出似然函数；
（2）对似然函数取对数，并整理；
（3）求导数，令导数为0，得到似然方程；
（4）解似然方程，得到的参数即为所求；
2.EM
背景是数学之美的聚类的情况下，
首先，根据现有模型，计算各个观测数据输入到模型中的计算结果，这个过程称为期望值计算过程（Expectation），或E过程；接下来，重新计算模型的参数，以最大化期望值。在上面的例子中，我们最大化D和 -d ，这个过程称为最大化的过程（Maximization），或 M 过程。这列算法都成为EM算法。
大西瓜：它是一种迭代式的方法，其基本思法是：若参数 s 已知，则可根据训练数据推断出最优隐变量 Z 的值（E 步）；反之，若 Z 的值已知，则可方便地对参数 s 做极大似然估计（M 步）。
EM 算法还包括：隐马尔可夫模型的训练方法Baum-Welch 算法，以及最大熵模型的训练方法GIS算法。
EM 算法不一定保证全局最优解，如果目标函数是一个凸函数，那么一定能保证最优解。所幸熵函数是一个凸函数，如果在 N 维空间以欧氏距离做度量，聚类中我们试图优化的两个函数也是凸函数。但是，很多情况下，包括文本分类中的余弦距离都不能保证是凸函数，因此哟可能EM 算法给出的局部最优解而不是全局最优解。
高斯分布、指数分布那个得到全局最优。
混合高斯不一定，如果是凸函数就可以。
