1.前向分布算法
在集成学习中,Adaboost和GDBT都是采用加法模型和前向分布算法,唯一不同的是损失函数的选取。
首先我们需要知道什么是加法模型:
2.加法模型如何求解参数呢?
由于加法模型有n个基函数,对于m个系数代求,如果直接求解是很困难求解出来的。我们可以从前往后,每次学习一个基函数以及求解一个系数。
利用泰勒一阶展开式展开我们的损失函数:
2.负梯度拟合
3.损失函数
对于分类问题:拟合损失函数负梯度,结果就和Adaboost一样。
对于回归问题:损失函数为均方误差。基函数就是拟合负梯度。