机器学习决策树笔记

信息熵（entropy)

变量的不确定性越大，熵也就越大



ID3算法

有A节点的信息获取量和没有A的信息获取量之间的差

Gain(A)=Info(D)-Info_A(D);

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容

  • 分类算法-决策树
    决策树理论在决策树理论中，有这样一句话，“用较少的东西，照样可以做很好的事情。越是小的决策树，越优于大的决策树”。...
    制杖灶灶阅读 5,906评论 0赞 25
  • 机器学习|决策树分类与python实现
    目录： 1.决策树简介 2.决策树生成 a) 选择标准——熵 b) 信息增益——ID3算法 c) 信息增益率——C...
    最会设计的科研狗阅读 5,875评论 1赞 4
  • 机器学习（6）——决策树
    前言： 通过第前面的学习介绍了机器学习回归模型创建的流程，并且知道了机器学习要做的事情是找到目标函数，优化它，通过...
    飘涯阅读 6,446评论 4赞 83
  • 机器学习算法之决策树(Decision tree)
    转自算法杂货铺--决策树决策树和随机森林学习笔记-欢迎补充 http://www.cnblogs.com/fion...
    尧字节阅读 10,785评论 1赞 6
  • 摄影岛申请
    摄影小白一枚，多指教。 拍摄思路：雨后的樱桃，挂着水珠，别有韵味 照片分析：虚化背景，聚焦樱桃，位置适中。没有后期...
    张生啊阅读 226评论 0赞 1