Xgboost

XGBoost 与 Boosted Tree

1、Xgboost

        使用集成的方式来处理分类和回归问题，利用上图的方式确定是否愿意玩游戏为例子。使用上述的例子求得决策树叶子节点的权重和。

2、xgboost原理

使得目标函数权重最小，

不断往里面添加决策树，取得叶子节点的数

惩罚项的定义：总共三个叶子节点与r的成绩、w的正则化和

惩罚项

        现在还剩下的一个问题，我们如何选择每一轮加入什么F呢？选取一个f来使得我们的目标函数尽量最大降低。

每一个样本的真实值和预测值之间的差异+惩罚项的和；

目标函数与

残差决策树：每课决策树预测值与真实值之间的差异，

xgboost的求解过程：前面的模型已经预测

将样本上的遍历转移到叶子节点上的遍历，加上叶子节点的权重。

对目标函数求偏导，什么样的G值对目标函数最小

G表示一阶导数

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容