决策树实例：泰坦尼克号幸存者预测

重点部分

• 预处理部分
  1. 缺失值较多的列进行填补，有一些特征只确实一两个值，可以采取直接删除记录的方法；////////缺失值很少的列可以选择直接进行删除
  2. 将分类变量转换为数值型变量：labels = data['列名'].unique().tolist() # ///////////////////unique是返回有哪些出现的(能看到有几种)，再变成一个列表。 只要unique不超过十个，都可以用此方式进行分类(前提这些取值没有联系)；
• 值得再看一遍

代码

1.导入所需的库

import pandas as pd
from sklearn.tree import DecisionTreeClassifier  # 只能处理数字
from sklearn.model_selection import train_test_split
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt

2.导入数据集，探索数据

data = pd.read_csv(r'E:\CODE\pythonProject\other\菜菜系列\sklearn\1.决策树\data.csv', index_col=0)

print(data.info())  # 因为分类器只能处理数字，如果想要将sex...留下，则必须想办法转为数字
print(data.head())  # 显示前n行，默认为5

3.对数据进行预处理

# 删除缺失值过多的列，和观察判断来说和预测的y没有关系的列
data.drop(['Cabin', 'Name', 'Ticket'], inplace=True, axis=1)  # inplace为True是用删除后的表覆盖原表，默认为False, axis=1对列进行删除

# 处理缺失值，对缺失值较多的列进行填补，有一些特征只确实一两个值，可以采取直接删除记录的方法
data['Age'] = data['Age'].fillna(data['Age'].mean())  # fillna为填充缺失值(年龄缺的不多,填均值即可)
data = data.dropna()  # 剩下的数据里面，只有两个缺失值了，直接删掉就行了

# 将分类变量转换为数值型变量

# 将二分类变量转换为数值型变量
# astype能够将一个pandas对象转换为某种类型，和apply(int(x))不同，astype可以将文本类转换为数字，用这个方式可以很便捷地将二分类特征转换为0~1
data['Sex'] = (data['Sex']=='male').astype('int')  # male为1，female为0；astype是将bool值转换为另一个类型(int)

# 将三分类变量转换为数值型变量
labels = data['Embarked'].unique().tolist()  # unique是返回有哪些出现的(能看到有几种)，再变成一个列表。  只要unique不超过十个，都可以用此方式进行分类(前提这些取值没有联系)
data['Embarked'] = data['Embarked'].apply(lambda x: labels.index(x))  # 将数据x转为对应的index

# 查看处理后的数据集
data.head()

4. 提取标签和特征矩阵，分测试集和训练集

x = data.iloc[:, data.columns != 'Survived']  # x为取出所有行，但除去了survived那个标签列
y = data.iloc[:, data.columns == 'Survived']  # y为取出所有行，但只包含survived标签列

from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3)  # data, target, test_size比例

# 修正测试集和训练集的索引(只要不是有意打乱索引顺序，建议修正)
for i in[x_train, x_test, y_train, y_test]:
    i.index = range(i.shape[0])  # 直接把四个数据集的index改为了0-shape的样式

# 查看分好的训练集和测试集
x_train.head()

5. 导入模型，粗略跑一下查看结果

clf = DecisionTreeClassifier(random_state=25)  # 实例化
clf = clf.fit(x_train, y_train)
score_ = clf.score(x_test, y_test)

print(score_)
score = cross_val_score(clf, x, y, cv=10).mean()  # 交叉验证取平均
print('----------------------------')
print(score)

6. 在不同max_depth下观察模型的拟合状况(调参)

tr = []
te = []
for i in range(10):
    clf=DecisionTreeClassifier(
        random_state=25,
        max_depth=i+1,

        criterion='entropy'
    )

    clf = clf.fit(x_train, y_train)
    score_tr = clf.score(x_train, y_train)
    score_te = cross_val_score(clf, x, y, cv=10).mean()
    tr.append(score_tr)
    te.append(score_te)
print(max(te))
plt.plot(range(1, 11), tr, color='red', label='train')
plt.plot(range(1, 11), te, color='blue', label='test')
plt.xticks(range(1, 11))
plt.legend()
plt.show()
#这里为什么使用“entropy”？因为我们注意到，在最大深度=3的时候，模型拟合不足，在训练集和测试集上的表现接近，但却都不是非常理想，只能够达到83%左右，所以我们要使用entropy。

7. 用网格搜索调整参数(能够帮助我们同时调整多个参数的技术，枚举技术)

# 网格搜索是一个一个参数试过去，非常费时间

import numpy as np
gini_thresholds = np.linspace(0, 0.5, 20)  # 0-0.5之间取20个有顺序排列的数，在这里作gini系数的边界

# 一串参数和这些参数对应的、我们希望网格搜索来搜索参数的取值范围
parameters = {'splitter':('best', 'random'),
              'criterion':('gini', 'entropy'),
              'max_depth':[*range(1, 10)],
              'min_samples_leaf':[*range(1, 50, 5)],
              'min_impurity_decrease':[*np.linspace(0, 0.5, 20)]}
clf = DecisionTreeClassifier(random_state=25)
GS = GridSearchCV(clf, parameters, cv=10)
GS.fit(x_train, y_train)
print(GS.best_params_)  # 从我们输入的参数和参数取值的列表中，返回最佳参数组合
print('------------------------------')  
print(GS.best_score_)  # 网格搜索后的模型的评判标准