eta
image.png
learning_rate, 相当于学习率
gamma
image.png
image.png
xgboost的优化式子里的gamma,起到预剪枝的作用。
max_depth
image.png
树的深度,越深越容易过拟合
min_child_weight
image.png
新分裂出来的一个叶子节点,只有当叶子节点上hession矩阵的和大于这个值时才会分裂,也起到了预剪枝的作用。
image.png
按描述来看应该是图中的H之和,具体需要结合代码求证。
subsample
image.png
训练时,对训练数据进行采样,来自随机森林的做法。
colsample_bytree, colsample_bylevel, colsample_bynode
image.png
每颗树/每层/每个节点分裂时,是否对特征进行采样,同样来自随机森林的做法。
lambda
image.png
L2正则
alpha
image.png
L1正则