决策树的剪枝与分类回归树

1.决策树的过拟合问题

决策树生成算法递归地产生决策树,直到不能继续下去为止。通过这样的方式产生的决策树容易产生过拟合问题。过拟合的原因在于学习时过多地考虑如何提高对训练数据的正确分类,从而构建出过于复杂的决策树。

2.什么是决策树的剪枝?

在决策树学习过程中将已生成的树进行简化的过程称为剪枝(Pruning)。具体地,剪枝从已经生成的树上裁掉一些子树或叶节点,并将其根节点或父节点作为新的叶节点,从而简化分类树模型。

3.一种简单的决策树学习的剪枝算法

决策树的剪枝往往通过极小化决策树整体的损失函数(Loss Function)或者 代价函数(Cost function)来实现。

CART 算法

分类与回归树模型(CART)是应用广泛的的决策树学习方法。CART 同样由特征选择、树的生成以及树的剪枝组成,既可以用于树的分类,也可以用于回归。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 决策树理论在决策树理论中,有这样一句话,“用较少的东西,照样可以做很好的事情。越是小的决策树,越优于大的决策树”。...
    制杖灶灶阅读 5,961评论 0 25
  • 决策树 1.概述 决策树由节点和有向边组成,节点有两种类型,内部节点和叶节点,内部节点表示一个特征或属性,叶节点表...
    Evermemo阅读 2,332评论 0 1
  • Decision Trees (DTs) 是一种用来classification和regression的无参监督学...
    婉妃阅读 6,242评论 0 8
  • 1、模型原理 (一)原理 1、原理:引入信息熵(不确定程度)的概念,通过计算各属性下的信息增益程度(信息增益越大,...
    Python_Franklin阅读 12,449评论 0 17
  • 刚躺床上,花了点时间整理了一下房间。整理完后开始那么多的东西,不过也算是比较整齐了。大多都是手帐用品,等慢点办...
    奇巧俏阅读 95评论 0 0