决策树

Decision Tree (决策树/判定树)是监督学习中的分类算法, 通常预测和分类算法的评估主要体现在:

准确率:预测的准确与否是本算法的核心问题,其在征信系统,商品购买预测等都有应用。

速度:一个好的算法不仅要求具备准确性,其运行速度也是衡量重要标准之一。

强壮行:具备容错等功能和扩展性等。

可规模性:能够应对现实生活中的实际案例

可解释性:运行结果能够说明其含义。

通过信息熵的比较, 选择属性判断节点, 信息增益最大的作为根节点. 关于信息增益的计算需要进一步的理论支持.

在决策树ID3基础上,又进行了算法改进,衍生出 其他算法如:C4.5: (Quinlan) 和Classification and Regression Trees (CART): (L. Breiman, J. Friedman, R. Olshen, C. Stone)。这些算法

其共同点:都是贪心算法,自上而下(Top-down approach)

区别:属性选择度量方法不同: C4.5 (gain ratio,增益比), CART(gini index,基尼指数), ID3 (Information Gain,信息增益)

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 决策树理论在决策树理论中,有这样一句话,“用较少的东西,照样可以做很好的事情。越是小的决策树,越优于大的决策树”。...
    制杖灶灶阅读 5,939评论 0 25
  • 博客园:http://www.cnblogs.com/wxquare/p/5379970.html ID3(多叉树...
    闫阿佳阅读 2,078评论 0 0
  • 决策树是机器学习中非常经典的一类学习算法,它通过树的结构,利用树的分支来表示对样本特征的判断规则,从树的叶子节点所...
    arrnos阅读 5,902评论 0 3
  • 病似妖魔藏在体,千般变化病难降。 纵拥火眼金睛眼,总有妖魔被漏荒。 可憾医生不是神,更无拿病好仙方。 但凭知识及经...
    徐一村阅读 160评论 0 3
  • 一直以来,我们都在讨论钱不值钱,钱不好赚的难题,甚至现在各种新闻都在说,越来越多的大学生、研究生、博士生们都在降低...
    慕容随风阅读 1,269评论 6 27