生成式模型和判别式模型

特点:

产生式模型:从统计的角度表示数据的分布情况,能够反映同类数据本身的相似度,不关心判别边界。

判别式模型:寻找不同类别之间的最优分类面,反映的是异类数据之间的差异。

区别:

产生式模型(Generative Model)与判别式模型(Discrimitive Model)它们的区别在于:

假设有样本输入值(或者观察值)x,类别标签(或者输出值)y

判别式模型评估对象是最大化条件概率p(y|x)并直接对其建模,

生成式模型评估对象是最大化联合概率p(x,y)并对其建模。

其实两者的评估目标都是要得到最终的类别标签Y, 而Y=argmax p(y|x),不同的是判别式模型直接通过解在满足训练样本分布下的最优化问题得到模型参数,主要用到拉格朗日乘算法、梯度下降法,常见的判别式模型如最大熵模型、CRF、LR、SVM等;

而生成式模型先经过贝叶斯转换成Y = argmax p(y|x) = argmax p(x|y)*p(y),然后分别学习p(y)和p(x|y)的概率分布,主要通过极大似然估计的方法学习参数,如NGram、HMM、Naive Bayes。

优缺点:

生成模型:

优点:
1)实际上带的信息要比判别模型丰富,研究单类问题比判别模型灵活性强
2)模型可以通过增量学习得到
3)生成模型能够应付存在隐变量的情况,比如混合高斯模型就是含有隐变量的生成方法。

缺点:
1)学习过程比较复杂。
2)实践中多数情况下判别模型效果更好。

判别模型:

优点:
1)分类边界更灵活,比使用纯概率方法或生产模型得到的更高级.
2)准确率往往较生成模型高。
3)不需要求解类别条件概率,所以允许我们对输入进行抽象(比如降维、构造等),从而能够简化学习问题。

缺点:
1)不能反映训练数据本身的特性。

转载自:https://blog.csdn.net/Yaphat/article/details/52574748

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 来源: 生成模型与判别模型 一、决策函数Y=f(X)或者条件概率分布P(Y|X) 监督学习的任务就是从数据中学习一...
    SUNFC阅读 916评论 0 1
  • 以西瓜书为主线,以其他书籍作为参考进行补充,例如《统计学习方法》,《PRML》等 第一章 绪论 1.2 基本术语 ...
    danielAck阅读 4,691评论 0 5
  • 引入 监督学习的任务就是学习一个模型(或者得到一个目标函数),应用这一模型,对给定的输入预测相应的输出。这一模型的...
    JasonDing阅读 13,069评论 0 18
  • 这个也就是后面很火的,GAN(生成式对抗网络)中生成模型G与判别模型D之间的互相对抗了。 参考博客 判别模型和生成...
    小碧小琳阅读 2,525评论 0 2
  • 原文链接 先上结论公式上看生成模型: 学习时先得到 P(x,y)P(x,y),继而得到 P(y|x)P(y|x)。...
    半大人阅读 1,335评论 0 0