一、全概率公式与贝叶斯公式

这两个公式是十分十分重要的公式，在概率统计中用的非常多。这里的EM思想，也是用到了 这两个公式的思想。关于这两个公式，这篇博客讲的很细致 理解全概率公式和贝叶斯公式

1.1 、全概率公式

1.1.1 、从网页中完备事件组看起，一直到“村里有东西被偷”的概率，这个用到了全概率公式。

直接求“村里被偷的概率”不好求，而小偷活动的概率，活动以后得手的概率已经知道，所以可以由上面这些，推出结果

但是，这个例子确实用了全概率公式，但是 ，假设的前提并不准确：
按照上述，完备事件组中的B_i就是，小偷A偷了东西，小偷B偷了东西，小偷C偷了东西，这三个事件两两互斥，在这里没体现出来。

1.2、贝叶斯公式

在全概率公式中，如果将A看成是“结果”，B_i看成是导致结果发生的诸多“原因”之一，那么全概率公式就是一个“原因推结果”的过程。但贝叶斯公式却恰恰相反。贝叶斯公式中，我们是知道结果AA已经发生了，所要做的是反过来研究造成结果发生的原因，是XX原因造成的可能性有多大，即“结果推原因”。

仍然用“小偷”这个例子 。“村子被偷”作为结果，“有人偷”作为原因。

• 全概率公式：因为直接求“村子被偷”不好求，所以这里把“村子被偷”作为结果，然后“有人偷”作为原因，利用全概率公式，可以求得。

• 贝叶斯公式：假设，现在村子已经被偷了，我想求得 是谁偷的概率
  即，已知结果，求原因。可以利用贝叶斯公式。

注意：确定了“完备事件组”的前提以后，已知P(B_i)和P(A|B_i)是就可以求出全概率公式的结果以及贝叶斯公式的结果的

• 全概率公式：已知P(B_i)和P(A|B_i)，求P(A)。（已知原因，求结果）
  P(A)=sigma P(A|B_i)P(B_i)
• 贝叶斯公式：已知P(B_i)和P(A|B_i)，求P(B_i|A)。（已知结果A，求原因）
  ----1、先利用全概率公式求出P(A)。
  P(A)=sigma P(A|B_i)P(B_i)
  ----2、利用贝叶斯公式求出P(B_i|A)

-------------------------------------------------------------------------------
比如，上面小偷的问题，已经知道昨天村子丢东西了，求是A偷的概率。
（典型的已知结果，求原因）。就是求P(B_小偷A|A)。贝叶斯公式。

-------------------------------------------------------------------------------

带菌的问题

‘带菌率低到只有0.03，甚至比误检率还要低。这句话也挺有意思，也就是说明，可能检查10000个人，有100个误检了，50个呈阳性，但是带菌的真正有30个，所以若这个人呈阳性，是很可能被误检了的。有时候相信数字是正确的选择。

关于男女生分类的这一题，可以看出：

• 1、无论怎么分类，最后都是需要预测的
• 2、同样一个问题，有时可以用判别模型， 也可以用生成模型。

已知特征+已知特征对应的类别+已知分布（或假设出分布） ==>可以用生成模型
已知特征+已知特征对应的类别 ==> 可以用判别模型

从上面也可以看出，生成模型的条件比较苛刻，所以，一旦能用生成模型，就一定能用判别模型。（比如这个问题以及垃圾邮件分类问题，可以用朴素贝叶斯，就可以用SVM。）

• 3、当然也可以看出，对于这么小的样本，真的是用朴素贝叶斯比较好，也比较合理。更加验证了，生成模型在小样本上的表现好的优点。

-----------------------------------------------------------------————

而在机器学习中应用贝叶斯公式的时候，就不要纠结什么因果了，纠结特征是因还是果没有什么用。上面提出公式，用因果来分析，只是因为便于理解和记忆，实际上， 也就是由a推出b，那么b能推出a的关系。

也就是，在高斯混合模型中（GMM），E步，已知P(z),P(x|z),求P(z|x)。
由上面可知，直接利用贝叶斯公式就可以。不用纠结谁是因谁是果，没必要。

P(x|z)这个的意思，我们认为此时（在选定z的条件下）的x服从多值高斯分布。

二、与K-means的比较

因为突然转到概率上的参数，有点懵，所以这里准备通过让混合高斯模型和上篇文章所讲的K-means聚类联系起来，分析相同点与不同点，来分析此模型。

• 1、与与k-means的硬指定不同，我们首先认为隐含类别标签Z⁽ⁱ⁾ 是满足一定的概率分布的。
  不太可能说，1000个样例正好平均分成10类，每一类100个。所以，我们认为Z⁽ⁱ⁾不是符合均匀分布，在这里，我们认为Z⁽ⁱ⁾满足多项式分布。 (个人认为并不是满足传统的多项式分布的，因为正经的多项式分布，应该是掷骰子20次，1-6个数字出现为X=[2,4,5,6,0,3]的概率，这个X才是随机变量，有6⁶种可能。）
  这里可能是类似于讲义上的写的笔记的种类分布，而Z⁽ⁱ⁾=j 意味着Z向量的第j个数为1，其余的z_i都为0 。于是，Z向量也只能有K个值，每个值对应着一个类的概率Φ。于是可以近似的写成Z⁽ⁱ⁾=j 。。。先这么理解着吧。

• 2、因为这里的类别标签Z⁽ⁱ⁾是用概率表示的，所以，没法用K-means一样的方法去判别样例x^(i)距离那个类的质心的坐标最近。
  这里通过概率联系起来，因为都是概率，所以可以在后面用极大似然估计，联系起来。这里我们认为x⁽ⁱ⁾服从多值高斯分布（n个特征，每个特征服从一个高斯分布）。
  而判断样例x⁽ⁱ⁾属于哪一个类，通过后验概率计算出p(zi|xi)的值，可以认为，属于概率大的zi的那一类。

注意：

• 3、混合高斯模型不同于K-means的硬指定：在每次循环中指定每个样例属于某个类别（距离最小的那个质心）。
  混合高斯模型属于软指定。即：除了最最开始的时候，（这一点倒类似于k-means一开始的时候），先随机为每个样例指定其属于哪个类别z⁽ⁱ⁾
  在利用上面随机指定（已知类别， 利用有监督学习，用极大似然估计函数），求得三个参数 以后 ，在E步中，计算出每个样例xi属于每个类别zj的概率wj。并不强硬地说，xi属于概率最大的这一类，而是保留起来这些概率。留着在M步中，利用这些概率wj来计算出新的三个参数，如此循环下去。

类似于K-means中M步求每一类的质心的方法：面对每一个类，对属于这一类的所有样例的坐标求平均。即，共有100个样例，2个类。此时E步得到的第2类共有30个，M步中第二类的质心就是这三十个坐标相加再除以30.

混合高斯模型因为是采用了软指定，所以在E步中，每个样例都有对应的k个类。所以相比于K-means，计算量是它的K倍。伪代码如下：

for step to 收敛：
    E步：        
    for j in range(k):  
        for i in range(m):
              计算每个样例属于第j类的概率。

    M步：
    for j in range(k):  
          phi_j = 所有的(样例属于第j类的概率的)平均值
          miu_j = 所有的(样例属于第j类的概率 * 该样例的特征向量）/所有的（样例属于第j类的概率）
          sigma 同理

三、混合高斯模型（使用期望最大化（EM）算法来进行密度估计）

给定训练样本

隐含类别标签用z⁽ⁱ⁾表示，不同于K-means的硬指定，我们认为z⁽ⁱ⁾是满足一定的概率分布的（多项式分布）。

并且，我们认为在给定z⁽ⁱ⁾后，样例x⁽ⁱ⁾满足多值高斯分布，即：

由此可以得到联合分布：

联合分布，是为了在最开始的时候，指定每个样例所属类别以后，利用有监督学习的算法，利用极大似然估计方法估计参数。从而开始真正的EM。
-----------------------------------------------------------------------------------------------------

整个模型，可以描述为，对于每个样例x⁽ⁱ⁾，是我们先从k个类别中按照多项式分布采样得到一个z⁽ⁱ⁾，在确定了z⁽ⁱ⁾以后的条件下，按照多值高斯分布（每个特征都符合一个高斯分布）采样得到一个样例x⁽ⁱ⁾。因为有k个类别，所以相当于全概率公式中，把样本空间S分成了k个，所以需要k个相加，对应到p(x)的概率分布上就是

-----------------------------------------------------------------------------------------------

按照极大似然估计的思想，已知数据只有样例m个x⁽ⁱ⁾，且符合一定分布，最极端理想的情况就是，参数就是正好出现m个样例x⁽ⁱ⁾的情况，联合分布的概率是1。

极大似然就是最大化这个联合分布，用来估计x⁽ⁱ⁾服从的分布参数。

对数化后如下：

这个式子的最大值是不能通过前面使用的求导数为0的方法解决的，因为求的结果不是close form。但是**假设我们知道了每个样例的类别标签z⁽ⁱ⁾，那么上式可以简化为：

--------------------------------------------------------------------------------------------
注意，这一点也体现了EM算法的思想：开始可以凑合着过，反正后面的日子会越来越好。
解释：比如，K-means中一开始，就先随机指定了质心坐标。
这里 也是，因为对数化后的极大似然公式仍然难求，

• 最开始：
  指定类别概率（或质心坐标）：先随机给每个样例随机指定类别，这样初步算是有监督学习
• 再然后估计出稍微好点的参数：
  此时类别已经确定，可以利用有监督学习的方法求导等于零得到分布的三个参数，总归是比不知道或者瞎蒙强啊
• E步（期望达到目标，得到最好的分类）：
  已经得到了稍微好点的参数：利用已经得到的参数再去计算类别概率（或者类别质心）。
• M步（根据分好的类，最大化似然函数，估计出参数）：
  已经得到类别，利用极大似然估计方法， 估计出参数。
• 循环EM步直至收敛。
  --------------------------------------------------------------------------------------------

接着上面公式讲：

当知道z⁽ⁱ⁾后，最大似然个估计就类似于高斯判别模型了。所不同的是GDA中类别y是伯努利分布，而这里的z是多项式分布，还有这里的每个样例都有不同的协方差矩阵，而GDA中认为只有一个。

这时候再对三个参数进行求导，得到：

之前已经讲的很清楚了，EM思想，这里应用到GMM中，就是先随意 给每个样例猜测一个类别z⁽ⁱ⁾，然后再用上面公式计算（有监督了）三个参数。然后就是，
期望达到目标（得到更好的类别的质心或概率分布）
最大化似然函数得到更好的参数估计

这里我们发现， 用W_j⁽ⁱ⁾代替了前面的φ_i，由前面简单的0/1值变成了概率。
这是因为，不同于GDA中每个样例对应的标签zi是确定的。这里除了最开始的一步，剩下的情况下，每个样例的类别zi是服从一个分布的，在对每个样例求所述类别是，都需要用贝叶斯公式才行。

E步中，已知各个参数分布，求每个样例x⁽ⁱ⁾对应的类别z⁽ⁱ⁾的概率。
即已知p(z),p(x|z),求p(z|x)（和一开始模型中，先采样z⁽ⁱ⁾以后在在此条件下采样x⁽ⁱ⁾形成对比），想到用贝叶斯公式。

W_j⁽ⁱ⁾计算公式如下：

对比K-means可以发现，这里使用了“软”指定，为每个样例分配的类别z⁽ⁱ⁾是有一定的概率的，同时计算量也变大了，每个样例i都要计算属于每一个类别j的概率。与K-means相同的是，结果仍然是局部最优解。对其他参数取不同的初始值进行多次计算不失为一种好方法。

接下来介绍一般化的EM推导过程。