一 概率主题模型
1.1 混合语言模型
如何摆脱背景词（数据中频率高）——常见词不应用分布解释
背景主题模型：生成常用词汇
使用另个分布：需决定产生词时用哪一个分布
计算一个词概率：两种情况的总和
问题：是如何区分词在哪一个分布的？词在每个分布的概率是如何计算的？
1.2 d中词的概率
假设背景词已知，如何调整θd来让已观测到的高频词概率达到最大
当已知背景词模型时，B中词的概率高，d中词的概率就小了。、
1.3在文档中添加更多的背景词
一个词出现得越多，那么这个词在d中的概率越高，对整体影响越大。
而如果提高p（thetaB）,那么提高d中的P的作用就不大了。即词出现的P还是受到p（thetaB）概率的规范影响的。
总结：
将高概率分配给数据中高频率的词汇。这是协作最大化可能性。其次，不同的组件模型倾向于在不同的词上下注高概率。这是为了避免竞争或浪费概率。这将使他们能够更有效地合作，最大限度地发挥作用。
1.4 期望最大化算法（EM）
Z=0：单词来自于d。 Z=1：单词来自于背景B
EM操作：
给所有参数（一个词的概率）分配随机数。
在θd的情况下，来猜测这些词的z值（E）
在z值确定后，把相同分布的词分到同一组，利用正态计数来预测概率，修正参数（M）
EM将趋于局部最大值
爬坡演算法
计算下限，不直接计算似然函数（E）
最大化下限，使得我们能将参数移动到一个新的位置（M）
最终确保得到局部最大值
二：概率潜在语义分析（PLSA）
2.1简要介绍
输入：集合、主题数量、一个词汇集。
输出：主题类别，特征描述
有约束的优化问题：
（1）词分布和为1 （2）话题覆盖的分布和为1
2.2 通过EM计算最大估计
z：隐藏变量（话题指标）
在（E）中：预测单词属于哪一类。从每个分布观察这个词的概率。
在（M）中：通过计算得到真实的估计。可以在所有的主题之间进行归一化以得到pi的重新估计，覆盖面。或者我们可以根据所有单词重新规范化。
三：隐含利克雷分布（LDA）
3.1.先验知识扩展PLSA（监督）
标准PLSA:完全基于数据做最大似然估计
用户“检索模型”作为主题，对特定概念感兴趣
p(^)即为先验知识
伪计数：用先验知识中的词概率定义
增加伪计数，构成γ分布
μ反应先验知识的强度（0，不考虑先验知识。无穷大—背景语言模型）
3.2.将PLSA扩展为生成模型（LDA）
LDA是PLSA的贝叶斯版本
LDA不允许释放链条，强制其从另一个分配中抽取。将分别从两个Dirichlet分布中抽取，但是狄利克雷分布是向量的分布。所以它给了我们一个向量四个特定选择的概率。
对比差异：
LDA的最大似然估计;
名称,主题，和覆盖范围不再是LDA中的参数,要使用基本的推论或后验推断来根据α和β的参数来计算它们。
