最近在公司业务中，需要用到一个分类算法，对一批名单进行分类。
衡量算法好坏的理论网上到处都是，主要是混淆矩阵分析以及ROC-AUC等，但是实际操作的博文比较少。
以下就从头分享下自己在Jupyter Notebook做的分析。
一、导入数据
import pandas as pd
import numpy as np
dataset0302 = pd.read_csv('/Users/Archibald/Desktop/Work/FIT/Fit/Result-0302/result20180302.csv', header=0)
dataset0416 = pd.read_csv('/Users/Archibald/Desktop/Work/FIT/Fit/Result-0416/result20180410.csv', header=0)
首先导入pandas跟numpy两个数据处理要用到的库，然后导入两个csv
dataset0416.head()
然后看一下导入的数据前5排，确认格式是我们想要的
score栏对应的是分类算法给出每一条名单的打分，Original代表的是真实类别
二、数据处理
这里要根据得分，按照threshold=0.5，转换为0或1的预测类别。
这里需要用到binarizer来处理，按照threshold-0.5，得分>0.5的，预测为正例，否则为反例
from sklearn import preprocessing
binarizer = preprocessing.Binarizer(threshold = 0.5)
y_temp = binarizer.transform(np.array(y_score_0302).reshape(1, -1))
y_p_0302 = y_temp[0]
y_temp = binarizer.transform(np.array(y_score_0416).reshape(1, -1))
y_p_0416 = y_temp[0]
三、数据分析
对打分进行转换之后，我们就可以对数据做初步分析了，这里先算一下Accuracy、Precision、Recall三个值。
Accuracy
from sklearn.metrics import accuracy_score
print('0302 分类准确率: %.2f%%' % (accuracy_score(y_o_0302, y_p_0302)* 100))
print('0416 分类准确率: %.2f%%' % (accuracy_score(y_o_0416, y_p_0416)* 100))
混淆矩阵
通过分析混淆矩阵，拿到TP FP TN FN的值
from sklearn.metrics import confusion_matrix
confusion = confusion_matrix(y_o_0302, y_p_0302)
TP = confusion[1, 1]
TN = confusion[0, 0]
FP = confusion[0, 1]
FN = confusion[1, 0]
print ("0302 混淆矩阵")
print ('\n')
print ("TP：", TP, "FN", FN)
print ("FP：", FP, "TN", TN)
Recall
Recall = true positives/actual positives
from sklearn import metrics
print('0302 召回率 : %.2f%%' % (metrics.recall_score(y_o_0302, y_p_0302)* 100))
print('0416 召回率 : %.2f%%' % (metrics.recall_score(y_o_0416, y_p_0416)* 100))
Precision
Precision = true positives/predicted positives
print('0302 精确率: %.2f%%' % (metrics.precision_score(y_o_0302, y_p_0302)* 100))
print('0416 精确率: %.2f%%' % (metrics.precision_score(y_o_0416, y_p_0416)* 100))
ROC、AUC值和PRC曲线
这里定义两个方法，分别绘制ROC-AUC曲线与PR曲线
def plotRUC(yt, ys, title=None):
'''
绘制ROC-AUC曲线
:param yt: y真值
:param ys: y预测值
'''
from sklearn import metrics
from matplotlib import pyplot as plt
f_pos, t_pos, thresh = metrics.roc_curve(yt, ys)
auc_area = metrics.auc(f_pos, t_pos)
print('auc_area: {}'.format(auc_area))
plt.plot(f_pos, t_pos, 'darkorange', lw=2, label='AUC = %.2f' % auc_area)
plt.legend(loc='lower right')
plt.plot([0, 1], [0, 1], color='navy', linestyle='--')
plt.title('ROC-AUC curve for %s' % title)
plt.ylabel('True Pos Rate')
plt.xlabel('False Pos Rate')
#plt.savefig('/Users/Archibald/Desktop/Work/FIT/roc.png')
plt.show()
def plotPR(yt, ys, title=None):
'''
绘制precision-recall曲线
:param yt: y真值
:param ys: y预测值, recall,
'''
import seaborn
from sklearn import metrics
from matplotlib import pyplot as plt
precision, recall, thresholds = metrics.precision_recall_curve(yt, ys)
plt.plot(precision, recall, 'darkorange', lw=1)
#plt.plot(recall, precision, 'blue', lw=1, label='x=recall')
plt.plot([0, 1], [0, 1], color='navy', linestyle='--')
plt.title('Precision-Recall curve for %s' % title)
plt.ylabel('Recall')
plt.xlabel('Precision')
plt.show()
然后把数据传进来，就能看到直观的曲线图了
plotRUC(y_o_0302, y_score_0302, "0302 Result")
plotPR(y_o_0302, y_score_0302, '0416 Result')
