重点部分
- 预处理部分
- 缺失值较多的列进行填补，有一些特征只确实一两个值，可以采取直接删除记录的方法；////////缺失值很少的列可以选择直接进行删除
- 将分类变量转换为数值型变量：labels = data['列名'].unique().tolist() # ///////////////////unique是返回有哪些出现的(能看到有几种)，再变成一个列表。 只要unique不超过十个，都可以用此方式进行分类(前提这些取值没有联系)；
- 值得再看一遍
代码
1.导入所需的库
import pandas as pd
from sklearn.tree import DecisionTreeClassifier # 只能处理数字
from sklearn.model_selection import train_test_split
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt
2.导入数据集，探索数据
data = pd.read_csv(r'E:\CODE\pythonProject\other\菜菜系列\sklearn\1.决策树\data.csv', index_col=0)
print(data.info()) # 因为分类器只能处理数字，如果想要将sex...留下，则必须想办法转为数字
print(data.head()) # 显示前n行，默认为5
3.对数据进行预处理
# 删除缺失值过多的列，和观察判断来说和预测的y没有关系的列
data.drop(['Cabin', 'Name', 'Ticket'], inplace=True, axis=1) # inplace为True是用删除后的表覆盖原表，默认为False, axis=1对列进行删除
# 处理缺失值，对缺失值较多的列进行填补，有一些特征只确实一两个值，可以采取直接删除记录的方法
data['Age'] = data['Age'].fillna(data['Age'].mean()) # fillna为填充缺失值(年龄缺的不多,填均值即可)
data = data.dropna() # 剩下的数据里面，只有两个缺失值了，直接删掉就行了
# 将分类变量转换为数值型变量
# 将二分类变量转换为数值型变量
# astype能够将一个pandas对象转换为某种类型，和apply(int(x))不同，astype可以将文本类转换为数字，用这个方式可以很便捷地将二分类特征转换为0~1
data['Sex'] = (data['Sex']=='male').astype('int') # male为1，female为0；astype是将bool值转换为另一个类型(int)
# 将三分类变量转换为数值型变量
labels = data['Embarked'].unique().tolist() # unique是返回有哪些出现的(能看到有几种)，再变成一个列表。 只要unique不超过十个，都可以用此方式进行分类(前提这些取值没有联系)
data['Embarked'] = data['Embarked'].apply(lambda x: labels.index(x)) # 将数据x转为对应的index
# 查看处理后的数据集
data.head()
4. 提取标签和特征矩阵，分测试集和训练集
x = data.iloc[:, data.columns != 'Survived'] # x为取出所有行，但除去了survived那个标签列
y = data.iloc[:, data.columns == 'Survived'] # y为取出所有行，但只包含survived标签列
from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3) # data, target, test_size比例
# 修正测试集和训练集的索引(只要不是有意打乱索引顺序，建议修正)
for i in[x_train, x_test, y_train, y_test]:
i.index = range(i.shape[0]) # 直接把四个数据集的index改为了0-shape的样式
# 查看分好的训练集和测试集
x_train.head()
5. 导入模型，粗略跑一下查看结果
clf = DecisionTreeClassifier(random_state=25) # 实例化
clf = clf.fit(x_train, y_train)
score_ = clf.score(x_test, y_test)
print(score_)
score = cross_val_score(clf, x, y, cv=10).mean() # 交叉验证取平均
print('----------------------------')
print(score)
6. 在不同max_depth下观察模型的拟合状况(调参)
tr = []
te = []
for i in range(10):
clf=DecisionTreeClassifier(
random_state=25,
max_depth=i+1,
criterion='entropy'
)
clf = clf.fit(x_train, y_train)
score_tr = clf.score(x_train, y_train)
score_te = cross_val_score(clf, x, y, cv=10).mean()
tr.append(score_tr)
te.append(score_te)
print(max(te))
plt.plot(range(1, 11), tr, color='red', label='train')
plt.plot(range(1, 11), te, color='blue', label='test')
plt.xticks(range(1, 11))
plt.legend()
plt.show()
#这里为什么使用“entropy”？因为我们注意到，在最大深度=3的时候，模型拟合不足，在训练集和测试集上的表现接近，但却都不是非常理想，只能够达到83%左右，所以我们要使用entropy。
7. 用网格搜索调整参数(能够帮助我们同时调整多个参数的技术，枚举技术)
# 网格搜索是一个一个参数试过去，非常费时间
import numpy as np
gini_thresholds = np.linspace(0, 0.5, 20) # 0-0.5之间取20个有顺序排列的数，在这里作gini系数的边界
# 一串参数和这些参数对应的、我们希望网格搜索来搜索参数的取值范围
parameters = {'splitter':('best', 'random'),
'criterion':('gini', 'entropy'),
'max_depth':[*range(1, 10)],
'min_samples_leaf':[*range(1, 50, 5)],
'min_impurity_decrease':[*np.linspace(0, 0.5, 20)]}
clf = DecisionTreeClassifier(random_state=25)
GS = GridSearchCV(clf, parameters, cv=10)
GS.fit(x_train, y_train)
print(GS.best_params_) # 从我们输入的参数和参数取值的列表中，返回最佳参数组合
print('------------------------------')
print(GS.best_score_) # 网格搜索后的模型的评判标准
