LDA 主题模型涉及到贝叶斯理论、Dirichlet 分布、多项分布、图模型、变分推断、EM 算法、Gibbs 抽样等知识
这个图模型表示法也称作 “盘子表示法”(plate notation)。图中的双圆圈表示可观测变量(observed variable),单圆圈表示潜在变量(latent variable),箭头表示两变量间的条件依赖性(conditional dependency),把节点用方框(plate)圈起来,表示其中的节点有多种选择,重复次数在方框的右下角。
该模型有两个参数需要推断(infer):一个是 “文档 - 主题” 分布θ,另外是T个 “主题 - 单词” 分布ϕ。通过学习(learn)这两个参数,我们可以知道文档作者感兴趣的主题,以及每篇文档所涵盖的主题比例等。推断方法主要有 LDA 模型作者提出的变分 EM 算法,还有现在常用的 Gibbs 抽样法。
理解LDA,可以分为下述5个步骤:
一个函数:gamma函数
四个分布:二项分布、多项分布、beta分布、Dirichlet分布
一个概念和一个理念:共轭先验和贝叶斯框架
两个模型:pLSA、LDA(在本文第4 部分阐述)
一个采样:Gibbs采样
在LDA中,一篇文档是这样生成的:
LDA
pLSA是频率派的思想,那么LDA就是贝叶斯派的思想。它认为主题分布和词分布也是不确定了,为了得到他们,需要用他们的先验分布(Dirichlet)来进行估计。所以,LDA的过程是这样的:
来源:https://cosx.org/2010/10/lda_topic_model
http://www.360doc.com/content/16/0428/10/478627_554452907.shtml
http://blog.jqian.net/post/lda.html(赞)
http://blog.csdn.net/claire7/article/details/46780849
http://blog.csdn.net/pipisorry/article/details/42649657