模型融合是kaggle等比赛中经常使用到的一个利器,它通常可以在各种不同的机器学习任务中使结果获得提升。顾名思义,模型融合就是综合考虑不同模型的情况,并将它们的结果融合到一起。模型融合主要通过几部分来实现:从提交结果文件中融合、stacking和blending。当下模型融合主要有三类:
1. 简单加权融合:
-回归(分类概率):算术平均融合(Arithmetic mean),几何平均融合(Geometric mean);
- 分类:投票(Voting)
- 综合:排序融合(Rank averaging),log融合
2. stacking/blending:
- 构建多层模型,并利用预测结果再拟合预测。
3. boosting/bagging(在xgboost,Adaboost,GBDT中已经用到):
- 多树的提升方法
多行代码(```
input
```)