算法是流程或菜谱。

1. python 语言不需要分号结尾
2. 除法：/求值，//取整数，%取余数，加小数点值为浮点数(p4),求幂运算（2**3）：2的3次方
   对于整除运算，结果是向下圆整，因此：结果是负数时，圆整后离0更远

10//-3 = -4  
-10//-3 = 3

3. 变量只能由字母、数字、下划线构成，不能由数字开头。

函数

1. import math（导入math包）
2. 如果确定不会从不同模块导入多个同名函数，可能不想每次调用函数时都指定模块名，在这种情况下，可使用import的变种：

from math import sqrt
sqrt（9）
结果是3

(关于pip安装第三方库以及pycharm中导入第三方库的问题)[https://blog.csdn.net/qq_41134708/article/details/80213634]

ID3 算法：

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

对比各信息增益，所以选择年龄了

C4.5 算法

图片.png

图片.png

预剪枝会导致的问题是 欠剪枝

C4.5 采用的是悲观剪枝方法

将节点转化为叶子

图片.png

分类树 与 回归树

https://www.bilibili.com/video/BV1rt41157Mc?from=search&seid=9448748707644569556
ID3 与 C4.5 都属于分类树；
CART 是回归树
分类树 的输出是定性的，回归树 的输出是定量的

图片.png

信息增益 对应 ID3 算法

经验条件熵的第二种表达式

熵：信息不确定程度，不确定越大，熵越大。

信息增益比 对应 C4.5 算法

ID3 算法实现

图片.png

图片.png

回归树用平方误差最小化原则。
分类树用基尼指数。

图片.png