Udacity 数据分析进阶课程笔记L34：决策树

决策树

• 利用核技巧，把简单的线性决策面，转换为非线性决策面。
• 一个接一个的处理多元线性问题。
• 根据数据，算法自动找出决策边界
• 决策树

sklearn中的决策树：

• import、tree.DecisionTreeClassifier()、fit()、predict()、accuracy_score()
• 参数：min_samples_split决定是否继续分割的最小样本量

数据杂质与熵

• Entropy熵：一系列样本中不纯度的测量值。控制决策树在哪里分割数据。
• 决策树算法在分割的过程中，找到变量划分点，从而尽可能产生单一子集。算法即对这个过程的递归重复。
• 熵与数据单一性负相关（熵公式）

信息增益information gain

• 父节点的熵 - 所有子节点熵加权平均
• 决策树算法最大化信息增益
• 多个计算信息增益的小练习

sklearn中的标准参数：gini、entropy均可使用

偏差-方差困境

• bias偏差：高偏差算法会忽略训练数据，没有能力学习数据。
• variance方差：高方差算法对数据高度敏感，只能复现曾经见过的东西，对于新的情况，处理能力很差。
• 好的算法需要对两者的折中，具有一定的泛化能力，但仍然对数据开放，可使用训练数据调整模型

优缺点

• 优点：易于使用，结构美观，能以图形化的方式剖析数据，即结果容易理解（相对于SVM）
• 缺点：容易过拟合，尤其是包含大量特征的数据，需要谨慎对待参数，测试准确率也相当重要。
• 优点2：易于集成，可以从决策树出发构建更大规模的分类器

迷你项目（略）