LightGBM学习

视频连接:https://v.qq.com/x/page/k0362z6lqix.html

基本操作:http://blog.csdn.net/qq_22238533/article/details/72927755

调参:

分割数据集:http://blog.csdn.net/kancy110/article/details/74838102


优点:

直方图方法将连续的特征值离散化成一个个bin,提升了效率,节省了空间

带限制的leaf-wise的生长策略,相较于level-wise,leaf-wise在叶子数量一样时,能降低误差,得到更好地精度,加上限制防止生成深树而在小数据集上造成过拟合。

直接输入类别值,不用one-hot encoding


直方图 
带限制的叶子生长策略


支持类别值输入

比较1决策树的学习方法:leaf-wise每次选择收益最大的分裂,快速有效地学习,但过程是顺序的,影响加速;evel-wise可并行,但是有不必要的分裂,造成浪费。


两种方法比较

比较2XGBoost方法:presort排序对每个特征值进行计算,可以找到精确分割点,但是消耗大可能过拟合。level-wise时间节省,并行,但会有浪费,没有必要的计算。

预排序和层生长策略

LightGBM的几个特点:

1.将XGB的最大深度调整为叶子数

对应关系

2.提高效率的几个方式:

主要特性

3.如何使用LGB?

可用的方式


如何处理过拟合
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。