一个关于Boosting集成学习方法代表XGBoot和GBDT不同点的小总结。
| 比较项目 | GBDT | XGBoost |
|---|---|---|
| 基分类器 | CART树 | 除了CART，还支持线性分类器 |
| 优化过程 | 只用到代价函数的一阶导数信息 | 对代价函数进行了二阶泰勒展开，同时用到一、二阶导数 |
| 代价函数的正则化 | 没有使用到正则项 | 可选l1、l2正则化，用于控制模型的复杂度和防止过拟合 |
| 列抽样 | 不能使用列抽样 | 可以像RF一样支持列抽样，再次防止过拟合并且训练速度快 |
| 并行处理 | 迭代不支持并行 | 支持特征粒度上的并行 |
综合来说XGBoost不但在处理速度力压XGBoost，并且在预测精度上也占有绝对的优势。
