【转】狄利克雷过程

原文:https://segmentfault.com/a/1190000010694630#articleHeader2

首先需要介绍一下狄利克雷过程。

Dirichlet Process (DP)被称为分布的分布。从DP抽取出的每个样本(一个函数)都可以被认为是一个离散随机变量的分布函数,这个随机变量以非零概率值在可数无穷个离散点上取值。比较有意思的是,从DP可以推导出几个非常著名的问题: Chinese Restaurant Process (CRP)、Polya Urn Scheme和Stick-breaking Process。简单的介绍可以见Edwin Chen的博文“Infinite Mixture Models with Nonparametric Bayes and the Dirichlet Process”,这篇详解了包括dp,crp等好几个过程,但是没有讲数学推导。

DP的特性使得它在非参数贝叶斯聚类模型中可以被用作参数的先验分布。Dirichlet Process Mixture (DPM)是这种非参数贝叶斯聚类模型中的一个典型代表。DPM可以认为是有限混合(Finite Mixture,FM)模型的一个推广,FM(如Gaussian Mixture模型)必须首先给定类数,而DPM则不需要,它可以依据数据自行判断类数。理论上来说,DPM的类数随着log(样本点数量)的增长速度增长。目前研究者已经提出了很多训练DPM的算法,从Gibbs Sampling,到Collapsed Gibbs Sampling,到Variational方法。

想进一步了解DP和DPM的同学,可以去Yee W. Teh的主页上看看,里面可以找到很多相关的papers,slides,presentations,以及用Matlab写的DPM开源软件。想仔细了解DPM的各个算法及具体推导,建议看看Xiaodong Yu的博文,里面也有他总结的一个很详细的学习笔记(虽然里面有一些小笔误),以及更多的参考资料。

在hlda中将这个crp推广到多层级的topic其实很简单,就是先找一家餐馆也就是一个root_topic,然后在这家餐馆里的每个桌子上放的是别的餐馆的名字,一次类推,就可以无限的延续下去。

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • LDA的代码实现:http://blog.csdn.net/u010551621/article/details/...
    wlj1107阅读 34,590评论 0赞 31
  • 随着智能时代慢慢的到来,有一些基本概念都不知道真的是要落伍了,作为正在积极学习向上的青年,我想总结一份笔记,此份笔...
    yuquanle阅读 1,882评论 0赞 0
  • PS:记得第一次画脸谱是在初中,觉得好难啊!偷懒把图画纸放书上画的(老师看见会不会被气到了) 这是第一次拿着图片自...
    Peach桃花阅读 483评论 0赞 2
  • 什么是饺子?圆肚尖角的皮包馅。 一说起饺子,就会联想起过年。在东北,最受欢迎的或许是酸菜饺子,个个都是大肚子,...
    迷路De萌昵阅读 2,387评论 5赞 6
  • 悄声悄气的起了床,看见昨天买来的鸡爪子动也没动的在厨房放着,老王头心里“咯噔”一下。连鸡爪子都不吃了,老太婆病的不...
    老宋头阅读 373评论 0赞 2

友情链接更多精彩内容