决策树

1为什么CART能回归

主要用均方差代替了基尼系数

2缺失值处理

当处理缺失值的时候,一般需要考虑这样两个问题:
1.有缺失值得特征应该在什么时候被选择
2.当被选择的特征有缺失值的时候,我们应该如何对样本进行划分

解决第一个问题:由于C4.5是通过选择信息增益最大的值从而选择特征的,因此我们做的处理就很简单了,只用将在该特征下无缺失值的样本的比例乘上信息增益就可以了。比如得到的信息增益为Gain(a),在a特征下有5个缺失值,总样本数为15,所以最终的信息增益就是\frac{5}{15}Gain(a)

解决第二个问题:如果该样本是缺失值,则以不同的权重分给每个子节点。比如现在有两个子节点,无缺失的样本为1,2,3,4,5,6,分别给第一个子节点1,2,3,第二个子节点4,5,还有缺失样本7,8,把7号子节点分别加入这两个子节点得到1,2,3,74,5,7。但是7号在第一类中的权重为\frac{3}{5},在第二类中权重为\frac{2}{5}

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 决策树理论在决策树理论中,有这样一句话,“用较少的东西,照样可以做很好的事情。越是小的决策树,越优于大的决策树”。...
    制杖灶灶阅读 6,086评论 0 25
  • 决策树 1.概述 决策树由节点和有向边组成,节点有两种类型,内部节点和叶节点,内部节点表示一个特征或属性,叶节点表...
    Evermemo阅读 2,421评论 0 1
  • 1、模型原理 (一)原理 1、原理:引入信息熵(不确定程度)的概念,通过计算各属性下的信息增益程度(信息增益越大,...
    Python_Franklin阅读 12,664评论 0 17
  • 基本概念 决策树(decision tree)是一种常见的机器学习方法,它是基于树结构来进行决策的,这恰是人类在面...
    司马安安阅读 1,603评论 0 3
  • 很喜欢一首歌,李健的《假如爱有天意》。那淡淡的旋律,悠悠的曲调,仿佛在诉说一个故事。一个久远的,令人忧伤的,...
    怀瑾姑娘阅读 455评论 0 1

友情链接更多精彩内容