1.信息论基础
1.1熵：随机变量不确定性的度量。熵越大表示这个随机变量不确定性越小。
1.2联合熵：2个随机变量不确定性的度量。联合分布的度量。
1.3条件熵：条件熵 不等于 条件概率分布，它表示在引入Y这个随机变量，X剩下的不确定性。条件熵= x,y联合熵 - y熵
1.4信息增益：
I（x,y) = H(x) - H(X|Y)
它度量了X在知道Y以后不确定性减少程度。称为互信息。
2.决策树不同算法
在决策树中，C3.0特征选择的标准就是信息增益。
D4.5特征选择用的是信息增益比
CART树回归用的是均方误差
分类用的是gini指数最小化准则。
3.回归树的原理：
CART回归树的度量目标是，对于任意划分特征A，对应的任意划分点s两边划分成的数据集D1和D2，求出使D1和D2各自集合的均方差最小，同时D1和D2的均方差之和最小所对应的特征和特征值划分点。表达式为：
用最终叶子的均值或者中位数来预测输出结果。
4.决策树防止过拟合的方法-剪枝
剪枝分为先剪枝和后剪枝。
先剪枝指在决策树生成过程中，进行条件判断来进行剪枝。一般效果不好。
后剪枝指在整颗决策树生成完全后，由下往上进行剪枝。
4.1 CART决策树剪枝：
损失函数的度量：对于任意内部节点，下面有一颗子树，其损失函数为：
剪枝后的损失函数度量：如果对于任意内部节点，如果进行剪枝，把其下面的子树剪掉，损失函数的度量。
内部节点作为叶子节点：叶子节点个数=1.
注意：一般叶子节点越多T越大，说明预测误差越小，C(T)越小。但是容易过拟合，所以需要a正则化来制衡。
当a很小时，对叶子节点的约束就很小，相当于没有惩罚。
此时不剪枝的损失函数肯定小于剪枝的损失函数。
当a无穷大时，只有叶子节点的损失函数肯定小于不剪枝的。
当a从0不剪枝不断增加到无穷大，肯定有个点使不剪枝 = 剪枝。
如此剪枝下去，直到根节点，这一过程中，a不断增加，产生新的区间。
1.剪枝，形成子树序列。
2.剪枝得到的子树序列T0，T1,T2,...,Tn中通过交叉验证选取最优子树Ta。
6.决策树sklearn参数：
