gbdt和xgboost是非常非常常用的数据挖掘算法，常用到什么程度呢，你要是去参加面试，肯定有人会问你用过xgboost吗？能说出来gbdt、xgboost、lightgbm的区别吗？当然很多从事数据挖掘工作的小伙伴肯定不能认怂，要说用过，但是转念一想你们是不是只调用过gbdt和xgboost的包，对于他们怎么计算出最终结果却一无所知，当然嘛工作中效果好就行了吗，管那么多原理，但真正理解原理才能知道怎么去优化这个模型。
今天就用通俗易懂的语言带大家去彻底了解这两个模型，因为这两个模型有一个递进的关系，xgboost实际是对gbdt的优化，先从gbdt说起，然后再说xgboost。

1 gbdt模型结果的计算

gbdt的基分类器是cart，因此可以用于回归和分类问题，如果你愿意还可以拟合一个模型树出来。

1.1 回归问题

如果你工作中更多面对的是回归任务，那么你应该庆幸，因为回归问题的损失函数表示简单，要么是绝对误差，要么是均方损失误差，要么是二者的结合，采用梯度下降的时候求导都特别简单，尤其是最常用的均方损失误差，采用梯度拟合实际就是对残差进行拟合，理解起来毫不费力。
以预测年龄为例先说一下gbdt做回归的流程：
（1）明确回归的指标和目标，指标是你现有的特征集合，目标是要拟合的数值，这个数值是连续的，此处年龄这个变量就是连续的，假设有三个样本，年龄分别为25、26、27，你现在的目标就是尽可能准确的预测出来这三个人的岁数。
（2）确定损失函数，这个地方我认为是非常重要的，有人对损失函数的理解可能不够深，损失函数最大的作用是确定梯度下降时的梯度方向，回归问题一般采用MSE(均方误差损失)，它求完导梯度实际就是残差。
（3）拟合一颗cart树，怎么拟合呢，我们不是有三个数据：
[特征1，特征2，…，特征n，25]、
[特征1，特征2，…，特征n，26]、
[特征1，特征2，…，特征n，27]。
就拿这三个数据根据特征，遍历数据特征取值去划分cart树，由于是回归问题，划分标准为所有样本的均方误差损失最小（这部分不懂去看看cart树吧，原理很简单），每一轮选择一个特征进行划分，知道所有样本都落入叶子节点，我们假设25在一个叶子节点，26、27在一个叶子节点上，取均值就是这个叶子节点的得分值。
（4）计算当前预测值，gbdt是残差拟合，这一轮得到的预测值是之前所有树的加和，有了这个加和就可以计算损失函数了。实际上这里还有一个学习率，这个学习率就是控制迭代速度的，太大了容易错过最优点，太小了就导致收敛速度慢。
（5）根据损失函数的形式计算梯度方向，采用MSE梯度方向就是偏差，就是说下次用于预测的数据变成了，
[特征1，特征2，…，特征n，0]、
[特征1，特征2，…，特征n，-0.5]、
[特征1，特征2，…，特征n，0.5]。
（6）重复3-5，直到达到预先设计的最大的基分类器数目或者cart树已经满足收敛了就跳出来。
可以看出来，在回归问题中叶子节点的得分值就是所有位于该叶子节点的样本均值，最后的预测结果怎么得到呢，就是某个样本X在每颗cart树上对应叶子节点的加和值，我好像一个公式都没放，这里放一个吧：

gbdt回归树最终结果计算.png

就说了不爱放公式，还得多余解释，这个m=1：M就是M个基分类器求和，讲j=1:J是第m颗上的叶子节点编号，这个I就是单位矩阵，啥意思这个样本在叶子节点上就取1，不在就取0呗，cmj更简单了，就是上面说的叶子节点得分值。
简单的理解，gbdt回归问题就是一个累积计算的过程，没一点技术含量，会加法就能算，估计小学数学水平就够了。

1.2 分类问题

分类问题比较有意思，也是我们工作中最长遇到的场景，比如识别异常用户等，这个分类又包括了二分类和多分类问题，二分类比较简单，关于多分类有很多处理方法，什么一对一、一对多策略等，说白了就是要么转换成多个二分类问题，要么直接用多分类的方法去解决。二分类简单，先说二分类吧，再说多分类。
（1）二分类问题
为啥说二分类问题简单，因为二分类问题，类似于逻辑回归，直接用sigmoid函数就可以得到最终的类别归属概率。分类问题的损失函数形式很多的，根据目标变量表示的不同（0,1表示或-1,1表示）还有不同的形式，最常用的形式包括对数和指数以及二者之间的结合等，还有人把回归的MSE拿到分类问题来一样可以用。为啥强调损失函数呢，因为在gbdt中残差拟合，梯度就是下一代要拟合的值，所以重要。
接下来，放个图，这个图是大招，讲的就是gbdt分类的流程，但是是一个多分类问题的图，本来放到下面讲的，但是这里为了说明方便先拿出来。二分类是多分类的一个特例，所以这个图也适用。

gbdt算法流程图

row8:更新预测值，也是累加，没啥好说的。
好勒，这里可以说下二分类问题的流程了：
1)明确分类的指标和目标，假设有三个样本，要预测是不是喜欢看电影，用0-1表示，你现在的目标就是尽可能准确的预测出来这三个人到底爱不爱看电影。
2）确定损失函数，二分类的损失函数一般是交叉熵损失，写起来就是下面这样：

交叉熵损失

这个损失函数咋来的去看逻辑回归说的比较清楚，我就不啰嗦了，有人嫌他麻烦，给简化了：

交叉熵损失函数的简化

叶子节点得分值更新公式

4）计算当前预测值，gbdt是残差拟合，这一轮得到的预测值是之前所有树的加和，用这个公式算。

预测得分值计算公式

2 xgboost模型结果的计算

这部分今天太累了不更新了。
----2019.8.7更新----
拖了好久了，今天来更新。

2.1 回归问题

回归问题永远是最好理解的问题，和GBDT一样，这个也是残差预测，每一代叶子节点的得分值是当前的残差，如果要算当前的预测值得话就拿前一代累积得分值加上当前的得分值，就是最终的预测结果，当然如果你设置了得分率，需要乘上得分率。我们来看公式：

得分计算公式

2.2 分类问题

在说分类问题之前，给大家一个提示。
xgboost这个包有原生和sklearn两个接口，具体怎么区分呢：
原生接口：
举个例子

import xgboost as xgb
params = {
    'eta':0.1,
    'max_depth':2,
    'min_child_weight':3,
    'gamma':0,
    'subsample':.8,
    'colsample_bytree':.7,
    'reg_alpha':1,
    'objective':'reg:linear'
}
dtrain = xgb.DMatrix(xtrain,ytrain)
dtest = xgb.DMatrix(xtest,ytest)
watchlist1 = [(dtrain,'train'),(dtest,'test')]

model1 = xgb.train(params=params,dtrain=dtrain,num_boost_round=100,early_stopping_rounds=10,evals=watchlist1)

这是原生的，数据需要整理成它要求的样子，直接调用包的train函数进行训练。
sklearn接口：

from xgboost.sklearn import XGBRegressor
model2 = XGBRegressor(
    learn_rate = 0.1,
    max_depth = 2,
    min_child_weight = 3,
    gamma = 0,
    subsample = 0.8,
    colsample_bytree = 0.7,
    reg_alpha = 1,
    objective = 'reg:linear',
    n_estimators = 100
)
watchlist2 = [(xtrain,ytrain),(xtest,ytest)]
model2.fit(xtrain,ytrain,eval_set=watchlist2,early_stopping_rounds=10)

sklearn接口就简单多了，跟你平时用sklearn的其他算法是一样的。
为什么说这个，因为二者在结果输出是有区别的。
不管是多分类还是二分类任务，我直接说了。

• 原生接口，返回的是概率值，这个概率值是每一个样本在每一棵树上得分加种后，采用softmax归一化的值。
• sklearn，返回的事类别，它直接以0.5为阈值进行划分，当然为了给你创造空间，还提供了predict_proba 函数返回预测概率值。