机器学习技法44节。
GBDT:回归树的时候,基分类器的损失函数是平方损失,最后得到的g(t)是 求解平方损失regression(xn,yn-sn);步长是求解线性回归的解:
(g(t)-input,yn-sn)
“-----”
GBDT比adaboost更多元化,adaboost是指二分的情况,而GBDT可包括二分,回归。
GBM比GBDT更多元化,GBM的基分类器可是CART,SVM等
GBDT:分类树的时候,就是adaboost 二分类情况下的演算法,加上如下两点:
1.根据基分类器的权重,对基分类器的CART树进行,sampling
2.用弱一点的基分类器,避免某个基分类器过拟合,权重a过大。一般令基分类器的树深度为1.