集成学习

集成学习的两大流派

1. Boosting

通过将弱学习器提升为强学习器的集成方法来提高预测精度，典型算法为AdaBoosst，GBDT

2. Bagging （bootstrap aggregation）

通过自助采样的方法生成众多并行式的分类器，通过“少数服从多数”的原则来确定最终的结果，典型算法为随机森林

Adaboost，GDBT，XGBoost的对比

  • Adaboost的基本思想是提高前一轮弱分类错误分类样本的权重，降低正确分类样本的权重
  • GDBT是由boosting Tree演变过来的，而boosting Tree可以认为是Adaboost的一般方法，它的关键点就是利用损失函数的负梯度去模拟（代替）残差，这样对于一般的损失函数，只要其一阶可导就行
  • XGBoost则对损失函数进行了二姐泰勒展开，同时用到了一阶和二阶导数
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

相关阅读更多精彩内容

  • 集成学习
    About 个人同时在简书和自制个人博客两个地方同时更新文章，有兴趣的话可以来我的博客玩呀，一般而言排版会好不少。...
    DeamoV阅读 3,024评论 0赞 1
  • 从集成学习到GBDT与随机森林
    初步认识GBDT 个人理解：GBDT（Gradient Boosting Decision Tree），梯度提升决...
    小碧小琳阅读 1,865评论 0赞 15
  • 集成学习之Adaboost算法原理小结
    转自：http://www.cnblogs.com/pinard/p/6133937.html 在集成学习原理小结...
    孙志杰_6bb7阅读 1,798评论 0赞 2
  • 集成学习
    集成学习 集成思想主要分为两大流派，Boosting一族通过将弱学习器提升为强学习器的集成方法来提高预测精度（典型...
    惊不意外阅读 2,070评论 0赞 1
  • 萌宝日记193之情景扮演
    2018年9月17日 星期一 晴 吃过晚饭不久，我正和妈妈玩着小汽车，肚子咕噜一声，我突然发现自己没吃太饱，于是和...
    格子记阅读 187评论 0赞 0

友情链接更多精彩内容