决策树

• 特征分裂点选取方法：遍历所有value，以该value作为切分点，计算左右集合的MSE，选取最佳切分点，同时切分样本到下层节点
  除了MSE之外也可以用信息增益（ID3算法)、信息增益比（C4.5）、基尼系数（CART）等方法进行衡量
• 使用贪心算法，不断扩展树的层数
• 某个叶节点预估值等于落到该叶结点的样本均值
• CART回归树使用MES做loss，分类树使用GINI系数

随机森林

• 构建多个决策树，用多个弱分类器构成一个强分类器
• 训练单个决策树的样本随机抽取
• 决策树的特征随机抽取

提升树

• 构建若干棵树，依次拟合之前所有树的结果与目标的残差
• 树的生成方式与CART一致
• 损失函数为残差：

GBDT（Gradient Boosting Decision Tree）

• 损失函数为负梯度（-1 * 残差的平方对c的导数）
• 对损失函数求导，每一步获取最小化的残差
• 以最小化的残差，生成下一课树

XGBoost

• 目标函数包含：loss function + 正则项
• 正则项包含：叶子节点数项 + 叶子权重值项 （剪枝 + 防过拟合）

• loss fuction与分裂准则挂钩（分裂前的loss减去分裂后左右节点各自的loss）

  
  
  图片.png
  
  

  gama的值决定了是否继续分裂

• loss function:
  
  图片.png
  
  文章链接：
  https://www.jianshu.com/p/ac1c12f3fba1

Bagging 与Boosting的方法差异

• Bagging的弱模型互相独立
• Boosting的弱模型互相依赖，后者的目标在于缩小前者的gap