-
决策树
- 利用核技巧，把简单的线性决策面，转换为非线性决策面。
- 一个接一个的处理多元线性问题。
- 根据数据，算法自动找出决策边界
- 决策树
-
sklearn中的决策树：-
import、tree.DecisionTreeClassifier()、fit()、predict()、accuracy_score() - 参数：
min_samples_split决定是否继续分割的最小样本量
-
-
数据杂质与熵
-
Entropy熵：一系列样本中不纯度的测量值。控制决策树在哪里分割数据。 - 决策树算法在分割的过程中，找到变量划分点，从而尽可能产生单一子集。算法即对这个过程的递归重复。
- 熵与数据单一性负相关（熵公式）
-
-
信息增益
information gain- 父节点的熵 - 所有子节点熵加权平均
- 决策树算法最大化信息增益
- 多个计算信息增益的小练习
sklearn中的标准参数：gini、entropy均可使用-
偏差-方差困境
-
bias偏差：高偏差算法会忽略训练数据，没有能力学习数据。 -
variance方差：高方差算法对数据高度敏感，只能复现曾经见过的东西，对于新的情况，处理能力很差。 - 好的算法需要对两者的折中，具有一定的泛化能力，但仍然对数据开放，可使用训练数据调整模型
-
-
优缺点
- 优点：易于使用，结构美观，能以图形化的方式剖析数据，即结果容易理解（相对于SVM）
- 缺点：容易过拟合，尤其是包含大量特征的数据，需要谨慎对待参数，测试准确率也相当重要。
- 优点2：易于集成，可以从决策树出发构建更大规模的分类器
迷你项目（略）
Udacity 数据分析进阶课程笔记L34：决策树
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 翻译自analyticsvidhya 基于树的学习算法被认为是最好的和最常用的监督学习(supervised le...
- 机器学习是做NLP和计算机视觉这类应用算法的基础，虽然现在深度学习模型大行其道，但是懂一些传统算法的原理和它们之间...
