- 性能评估参考前文的基本模型中所述
- 调优， 这里介绍两种方法，网格搜索和随机搜索进行超参数调优‘
1. 导入数据并查看
import numpy as np
import pandas as pd
df = pd.read_csv('./cancer.csv', sep = '\t')
print(df.shape)
df.head()
这是一份癌症的数据集。因为原始数据在一个csv文件中，我们导入pandas进行读取和处理,只后查看前 5项如下：
可以看到数据集中共有569个样本，每个样本包含id、标签值Diagnosis(其中M为恶性，Malignancy；B为良性，Benign）以及检测样本的其他信息。
2. 数据清洗拆分以及初步的分析查看
因为该数据已经是处理好的数据集，不在需要清洗，直接拆分成和
df.drop('ID', axis=1, inplace = True) #丢地id字段，跟M/B无关
X = df.iloc[:, 1:]
y = df['Diagnosis'].str.lower() #转化为小写，方便后面出图
y.value_counts() #统计m/b的总数
将和患病与否没有关系的id字段丢掉，在用df.iloc切片。在这里顺便多说一句，我们之前学的用pandas进行数据分析在这里也完全用的上。熟练使用pandas是用python进行数据分析和数据挖掘必须要过的坎，也是机器学习的基础。
在训练模型之前，我们可以习惯性的查看一下各项数据的相关性。我们知道数据集中有32列，除了id和Diagnosis之外还有30个字段。我们调用pandas里面的plotting.scatter_matrix方法可以一键查看每一项的数据分布以及每两项之间的相关性。
因为有30个字段，画在一张图上比较拥挤。我们先画出前6项感受一下：
df_1_plot = pd.plotting.scatter_matrix(X.iloc[:,:6], c=y, figsize=(20, 20),
marker='o', hist_kwds={"bins": 20}, s=40, alpha=.8)
代码中第一个参数X.iloc[:,:6]表示我们要分析数据框X中的前6项，c=y表示用的y的标签值来区分颜色，本案例中y取值为m或者b,所有有两种颜色。效果如下：
其中每一行为数据框中一列值的情况，包含该列数值的概率分布图，以及该列与其他5列的相关性散点图。通过这张图可以很直观的感受到用那些指标可以更容易的区分m和b
3. 创建模型并训练
之前我们说过使用sklearn创建一个模型+训练+预测一般都是3-4行代码搞定，因为sklearn做了大量的封装，方便我们使用。下面我们就在来一遍声明模型+训练+预测并输出算法在test数据集上的准确率。
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y , test_size = 0.2)
knn = KNeighborsClassifier()
knn.fit(X_train, y_train)
y_ = knn.predict(X_test)
score1_ = (y_ == y_test).mean()
print('使用算法的默认参数获得的正确率为： {:.3f}'.format(score1_))
>>>使用算法的默认参数获得的正确率为： 0.904
可以看到即使使用KNN算法的默认参数，也依然获得了90%的正确率。原因其实我们在上面的散点图矩阵里面弄也能窥见一斑：m和b的边界还算是比较明显的，也就是有比较明显的决策边界。这样除了边界上的点可能会出错外，其他点的“周围邻居”大部分都是同一类型，好区分。即使在边界上，因为是二分类随便猜也有50%的概率对。下面我们就着重讲述如何提高模型的精度。
4. 使用GridSearchCV方法寻找最佳参数
之前我们提到过KNN算法中有值，权重weight，距离计算方式等参数会影响模型的精度。在一开始，我们通过使用for循环，遍历每个参数来查看每个参数下模型的准确率。理论上如果有三个参数，我们可以嵌套三个for循环逐个遍历每种组合来获得最佳参数，但是确实太low!
我们知道sklearn最大的特点就是封装！sklearn下的model_selection模块里面已经封装好了GridSearchCV这个方法来帮助我们完成最佳参数寻找这个过程。GridSearchCV全称就是Grid Search Cross validation，从名称我们就可以知道该方法就是用不同参数形成的网格使用交叉验证方法获取正确率最大的参数组合。下面我们就来试一试：
from sklearn.model_selection import train_test_split
from sklearn.model_selection import GridSearchCV # GridSearchCV: 网格搜索 + cross valdation, 寻找最佳参数组合
knn = KNeighborsClassifier()
parameters_group = {'n_neighbors': [i for i in range(1,31)],
'weights' : ['distance', 'uniform'],
'p' : [1,2]}
grid_knn = GridSearchCV(knn, parameters_group, scoring='accuracy', cv=6)
grid_knn.fit(X_train, y_train)
上面的代码中，我们先创建了一个待遍历的参数组合parameters_group，包含k值从1到30，权重，以及p值（其中1为为曼哈顿距离L1，2为欧式距离L2)，然后创建一个模型grid_knn并调用GridSearchCV方法把knn和待遍历的参数组合放进去在训练，结果如下：
训练结束只后，我们可以调用模型自带的best_estimator_/best_params_/best_score_查看结果：
print(grid_knn.best_estimator_)
print(grid_knn.best_params_)
print(grid_knn.best_score_)
>>>KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski',
metric_params=None, n_jobs=None, n_neighbors=10, p=1,
weights='distance')
>>>{'n_neighbors': 10, 'p': 1, 'weights': 'distance'}
>>>0.9472527472527472
可以看到找到一组最佳参数：'n_neighbors': 10, 'p': 1, 'weights': 'distance'，并是模型在训练集上的精度提高到了94.7%。那么在测试集上的表现呢？
grid_y_ = grid_knn.predict(X_test)
score2_ = (grid_y_ == y_test).mean()
print('使用GridSearchCV获得的参数的模型正确率为： {:.3f}'.format(score2_))
>>> 使用GridSearchCV获得的参数的模型正确率为： 0.921
相比于默认参数的正确率score1_的90%提高了2个百分点。
- 绘制混淆矩阵和ROC曲线
from sklearn.preprocessing import LabelEncoder
X = df.iloc[:,2:].values
y = df.iloc[:,1].values
le = LabelEncoder() #将M-B等字符串编码成计算机能识别的0-1
y = le.fit_transform(y)
le.transform(['M','B'])
# 数据切分8：2
from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.2,stratify=y,random_state=1)
from sklearn.svm import SVC
pipe_svc = make_pipeline(StandardScaler(),SVC(random_state=1))
from sklearn.metrics import confusion_matrix
pipe_svc.fit(X_train,y_train)
y_pred = pipe_svc.predict(X_test)
confmat = confusion_matrix(y_true=y_test,y_pred=y_pred)
fig,ax = plt.subplots(figsize=(2.5,2.5))
ax.matshow(confmat, cmap=plt.cm.Blues,alpha=0.3)
for i in range(confmat.shape[0]):
for j in range(confmat.shape[1]):
ax.text(x=j,y=i,s=confmat[i,j],va='center',ha='center')
plt.xlabel('predicted label')
plt.ylabel('true label')
plt.show()
# 绘制ROC曲线：
from sklearn.metrics import roc_curve,auc
from sklearn.metrics import make_scorer,f1_score
scorer = make_scorer(f1_score,pos_label=0)
gs = GridSearchCV(estimator=pipe_svc,param_grid=param_grid,scoring=scorer,cv=10)
y_pred = gs.fit(X_train,y_train).decision_function(X_test)
#y_pred = gs.predict(X_test)
fpr,tpr,threshold = roc_curve(y_test, y_pred) ###计算真阳率和假阳率
roc_auc = auc(fpr,tpr) ###计算auc的值
plt.figure()
lw = 2
plt.figure(figsize=(7,5))
plt.plot(fpr, tpr, color='darkorange',
lw=lw, label='ROC curve (area = %0.2f)' % roc_auc) ###假阳率为横坐标，真阳率为纵坐标做曲线
plt.plot([0, 1], [0, 1], color='navy', lw=lw, linestyle='--')
plt.xlim([-0.05, 1.0])
plt.ylim([-0.05, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver operating characteristic ')
plt.legend(loc="lower right")
plt.show()
参考：
- 知乎： 机器学习模型评估与超参数调优详解，https://zhuanlan.zhihu.com/p/140040705
作者萌弟 - Datawhale开源项目：机器学习集成学习与模型融合(基于python)
作者： 李祖贤，陈琰钰，赵可，杨毅远，薛传雨
