XGBoost 理解

1、XGBoost 通过构造加法模型逐步累加预测结果，以达到在给定特征向量x的情况下，得出最佳的预测值y

问题：在每一步如何得到f(x)？

思路：最小化目标函数

2、构造并推导目标函数，其中，

L：损失函数，用来衡量模型拟合训练数据的好坏程度

Omega：正则项，用来衡量学习到的模型的复杂度

3、最小化目标函数

4、具体步骤

5、以单样本为例，模拟训练与预测过程

推导到最后，发现 XGBoost 是集合 boosting 和 bagging 的大杀器，既能降低 bias ，又能降低 variance。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容