1. 决策树模型概述
1.1 决策树模型
决策树模型 是一个模拟人类决策过程思想的模型,以找对象为例，一个女孩的母亲要给这个女孩介绍男朋友，于是有了下面的对话：
女儿：多大年纪了？（年龄）
母亲：26
女儿：长得帅不帅？（长相）
母亲：挺帅的
女儿：收入高不？（收入情况）
母亲：不算很高，中等情况
女儿：是公务员不？（是否公务员）
母亲：是，在税务局上班呢。
女儿：那好，我去见见
简单,逻辑清晰,可解释性好
决策树基于树结构进行决策
- 那个内部结点对应于某个属性上的测试
- 每个分支对应于该测试的一种可能结果 即该属性的某个取值
- 每个叶结点对应于一个预测结果
学习过程：通过对训练样本的分析来确定划分属性（即内部节点所对应的属性）
预测过程：将测试示例从根节点开始，沿着划分属性所构成的判定测试序列下行，直到叶结点
1.2 决策树简史
第一个决策树算法：CLS(Concept Learning System)
使决策树受到关注了，成为机器学习主流技术的算法：ID3
最常用的决策树算法：C4.5
J.R.Quinlan
可以用于回归任务的决策树算法:CART (Classification and Regression Tree)
基于决策树的最强大算法: RF (Random Forest)
L.Breiman
要点总结
- 决策树模型
- 基于树的结构进行决策
- 属性,测试预测结果
- 训练过程
- 分析训练样本,确定划分属性
- 预测过程
- 沿着树结构根据属性进行下行判断
- 基于树的结构进行决策
- 决策树简史
- CLS
- J.R.Quinlan 1979 ID3
- J.R.Quinlan 1993 C4.5
- L.Breiman 1984 CART
- L.Breiman 2001 RandomForest
