2019-04-07-GDBT算法梳理

1.前向分布算法

在集成学习中,Adaboost和GDBT都是采用加法模型和前向分布算法,唯一不同的是损失函数的选取。

首先我们需要知道什么是加法模型:


2.加法模型如何求解参数呢?

由于加法模型有n个基函数,对于m个系数代求,如果直接求解是很困难求解出来的。我们可以从前往后,每次学习一个基函数以及求解一个系数。


利用泰勒一阶展开式展开我们的损失函数:




2.负梯度拟合


3.损失函数

对于分类问题:拟合损失函数负梯度,结果就和Adaboost一样。

对于回归问题:损失函数为均方误差。基函数就是拟合负梯度。

5.二分类,多分类



6.正则化


7.优缺点


8.sklearn参数

GBDT最终要的2个待调节参数为


弱学习器的待调节参数:和CART决策树参数一样

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容