AUC值计算与实现

AUC（Area under curve）是机器学习常用的二分类评测手段，直接含义是ROC曲线下的面积。
ROC曲线理解起来更加的复杂且计算工程更加麻烦，因此从计算概率的角度理解AUC
也可以理解为：随机抽出一对样本（一个正样本，一个负样本），然后用训练得到的分类器来对这两个样本进行预测，预测得到正样本的概率大于负样本概率的概率。

那如何实现这样的计算呢？
我们从字面上的意思开始理解
一对样本，根据模型预测的结果，预测得到正样本的概率大于负样本概率的概率。
因此计算方法即为如下：

在有M个正样本,N个负样本的数据集里。
一共有 MxN 对样本（一对样本即，一个正样本与一个负样本）。
统计这 MxN 对样本里，正样本的预测概率大于负样本的预测概率的个数。

image.png

假设有4条样本。2个正样本，2个负样本，那么MxN=4。
即总共有4个样本对。分别是：
(C,A), (C,B), (D,A), (D,B)

在（C,B）样本对中，正样本C预测的概率小于负样本B预测的概率（也就是C的得分比B低），记为0
在（D,B）样本对中，正样本D预测的概率大于负样本B预测的概率（也就是D的得分比B高），记为1
所以最后的AUC结果即为：
(C,A), (C,B), (D,A), (D,B) =1+0+1+1
总样本对为MxN=4
所以结果为：

image.png

如果遇见得分一样的呢？

同样本是4个样本对，对于样本对（C,B）其I值为0.5。

image.png

from sklearn.metrics import roc_auc_score
def calcAUC(labels, probs):
    N = 0
    P = 0
    neg_prob = []
    pos_prob = []
    for _,i in enumerate(labels):
        if (i == 1):
            P += 1
            pos_prob.append(probs[_])
        else:
            N += 1
            neg_prob.append(probs[_])
    number = 0
    for pos in pos_prob:
        for neg in neg_prob:
            if (pos > neg):
                number += 1
            elif (pos == neg):
                number += 0.5
    return number / (N * P)

y = np.array([1,0,0,0,1,0,1,0,])
pred = np.array([0.9, 0.8, 0.3, 0.1,0.4,0.9,0.66,0.7])
print('auc=',calcAUC(y,pred))
print('roc_auc=',roc_auc_score(y,pred))

auc= 0.5666666666666667
roc_auc= 0.5666666666666667

上面的计算方法用了2个循环，时间复杂度高，因此我们对其进行如下优化。

首先按照预测的概率从小到高排列：

显然比C小的就是A
比D小的就是A，B
C的位置是2 D的位置是4
2+4 =A+C+A+B+C+D -----------(1)
而我们的目标是：
1+2=A+A+B -----------(2)
因此需要将(1)式减去 C+C+D
显然就是将正样本进行排列然后用等差数列求和公式即：

image.png

所以最后的求解公式为：

image.png

如果出现预测相同的情况

那就是正负样本平分位置即可

image.png

用python实现：

import numpy as np
from sklearn.metrics import roc_curve
from sklearn.metrics import auc


def auc_calculate(labels,preds,n_bins=100):
    postive_len = sum(labels)   #正样本数量（因为正样本都是1）
    negative_len = len(labels) - postive_len #负样本数量
    total_case = postive_len * negative_len #正负样本对
    pos_histogram = [0 for _ in range(n_bins)] 
    neg_histogram = [0 for _ in range(n_bins)]
    bin_width = 1.0 / n_bins
    for i in range(len(labels)):
        nth_bin = int(preds[i]/bin_width)
        if labels[i]==1:
            pos_histogram[nth_bin] += 1
        else:
            neg_histogram[nth_bin] += 1
    accumulated_neg = 0
    satisfied_pair = 0
    for i in range(n_bins):
        satisfied_pair += (pos_histogram[i]*accumulated_neg + pos_histogram[i]*neg_histogram[i]*0.5)
        accumulated_neg += neg_histogram[i]
    return satisfied_pair / float(total_case)

if __name__ == '__main__':
    y = np.array([1,0,0,0,1,0,1,0,])
    pred = np.array([0.9, 0.8, 0.3, 0.1,0.4,0.9,0.66,0.7])

    fpr, tpr, thresholds = roc_curve(y, pred, pos_label=1)
    print("sklearn:",auc(fpr, tpr))
    print("验证:",auc_calculate(y,pred))

sklearn: 0.5666666666666667
验证: 0.5666666666666667

参考：
AUC计算的两种实现方式以及python代码
AUC详解与python实现