混淆矩阵
- True negative(TN)，称为真负率，表明实际是负样本预测成负样本的样本数
- False positive(FP)，称为假正率，表明实际是负样本预测成正样本的样本数
- False negative(FN)，称为假负率，表明实际是正样本预测成负样本的样本数
- True positive(TP)，称为真正率，表明实际是正样本预测成正样本的样本数
几乎所有评价指标，都是建立在混淆矩阵基础上的，包括准确率、精准率、召回率、F1-score、AUC。
ROC曲线
纵轴：True Positive Rate（真正率，TPR，recall）预测为正样本且预测对了的可能性。对于真正例率TPR，分子是得分>阈值t里面正样本的数目，分母是总的正样本数目。
-
横轴：False Positive Rate（假正率，FPR）预测为正样本但是预测错了的可能性。对于假正例率FPR，分子是得分>阈值t里面负样本的数目，分母是总的负样本数目。
因此，如果定义N+(t),N−(t)分别为得分大于t的样本中正负样本数目，N+,N−为总的正负样本数目，那么TPR和FPR可以表达为阈值t的函数：
随着阈值t的变化，TPR和FPR在坐标图上形成一条曲线，这条曲线就是ROC曲线。
(0,0)：假正率和真正率都为0，即分类器全部预测成负样本
(0,1)：假正率为0，真正率为1，全部完美预测正确
(1,0)：假正率为1，真正率为0，全部完美预测错误
(1,1)：假正率和真正率都为1，即分类器全部预测成正样本
-
TPR＝FPR，斜对角线，预测为正样本的结果一半是对的，一半是错的，代表随机分类器的预测效果
AUC
ROC曲线一定程度上可以反映分类器的分类效果，但是不够直观，于是，就有了AUC。AUC实际上就是ROC曲线下的面积。AUC直观地反映了ROC曲线表达的分类能力。
- AUC ＝ 1，代表完美分类器
- 0.5 < AUC < 1，优于随机分类器
- 0 < AUC < 0.5，差于随机分类器
AUC这个指标有两种解释方法，一种是传统的“曲线下面积”解释，另一种是关于排序能力的解释。其含义可以大概理解为：随机给定一个正样本和一个负样本，分类器输出该正样本为正的那个概率值比分类器输出该负样本为正的那个概率值大的可能性。可以看出在这个解释下，我们关心的只有正负样本之间的分数高低，而具体的分值则无关紧要。即不关注具体得分，只关注排序结果，因此，它特别适用于排序问题的效果评估，例如推荐排序的评估。
用AUC评价CTR
- PCTR是把分类器输出的概率，即点击率的预估值，内容的召回往往是根据PCTR的排序而决定的。我们不仅希望分类器给出是否点击的分类信息，更需要分类器给出准确的概率值，作为排序的依据。
- AUC量化了ROC曲线表达的分类能力，直观地反映了PCTR的准确性（排序能力）。分类能力越好（AUC越大），那么输出概率越合理，排序的结果越合理。
AUC求解
- 得到结果数据，数据结构为：输出概率（pctr），标签真值（click）
- 对结果数据按输出概率（pctr）进行从大到小排序
- 从大到小，把每一个输出概率作为分类阈值，统计该分类阈值下的TPR和FPR
- 微元法计算ROC曲线面积、绘制ROC曲线
代码实现
部分代码
def get_roc(data,pos,neg):
data = sorted(data , key = lambda x:x[0] , reverse = True)
roc_arr = []
tp = fp = 0
for sample in data:
tp += (1 if sample[1] == 1 else 0)
fp += (1 if sample[1] == -1 else 0)
roc_arr.append((fp/neg , tp/pos))
return roc_arr
def draw_roc(roc_arr):
x = [sample[0] for sample in roc_arr]
y = [sample[1] for sample in roc_arr]
plt.title("ROC curve")
plt.xlabel("False Positive Rate")
plt.ylabel("True Positive Rate")
plt.plot(x,y)
plt.show()
def get_auc(roc_arr):
#计算曲线下面积
auc = 0.
prev_x = 0
for x,y in roc_arr:
auc += (x - prev_x) * y
prev_x = x
return auc
手写实现AUC：0.747925810015887
调用sklearn计算AUC：0.7479258153531436
