目标检测的评估函数(precision,recall,mAP)

对于二分类的情况,我们可以使用以下公式计算其精确度(precision)和召回率(recall)。

精确率和召回率的计算公式

而在目标检测中,存在多种类别,例如COCO有80种类别,若要计算模型的mAP,先要求出单个类别的ap,而单个类别的ap由该类别的precision和recall计算得出。
其中的关于目标检测中的TP,FP,TN,FN定义。
TP:预测框Bounding box与真实框GT的IOU值大于0.5。
FP:预测框Bounding box与真实框GT的IOU值小于0.5,或者虽然BB与GT的IOU大于0.5,但是已经有BB与该GT匹配了。
TN:不存在该指标,因为每张图片至少包含一个目标。
FN:方法不能在图片上产生Bounding box。即真实情况下有目标,但是模型在该位置不能产生预测框。
下面通过一个例子来计算单个类别的ap。

例子

对于一幅图片,若person类别在图片中有7个,即7个ground truth box。而我们的模型一共检测出了10个bounding box,并且按照pred_conf进行排序,若bounding box与greound truth box的iou值大于IOU_thresh阈值(一般设为0.5))的话,GT为1。

检测情况

计算precision和recall:可以看出一共有7个真实框,而模型只检测出了5个框,下图为按照pred_conf的顺序计算各处的precision和recall,公式参考图1。
以rank_5为例,计算precision,到rank_5为止,一共有5个bounding box,而TP的数量为2,所以TP=TP/TP+FN=2/5=0.4。而recall,由于ground truth的数量为7,所以recall=2/7=0.29。
各阶段的精确率和召回率的计算

仔细观察,随着rank的增加,我们预测框的数目不断增加,那么我们预测框更有可能与真实框匹配,漏检的情况会减少,在分母不变(因为该类别的真实框数目已经确定),分子不断变大,那么recall会增大。同时,随着预测框增多,我们可能更会出现错检的情况,当发生错检时,分子不变(bounding box与ground truth匹配的数量),分母变大那么precision会减小。当然,由于precision在预测框增多时,分子和分母可能都会变化,导致precision增大的情况,如rank_8到rank_9的情况。但是总体是下降的趋势。所以presicion和recall去一对矛盾的测量指标。
计算单类别ap:现采用VOC2010及以后的方法,对于Recall >= 0, 0.14, 0.29, 0.43, 0.57, 0.71, 1,我们选取此时Percision的最大值:1, 1, 1, 0.5, 0.5, 0.5, 0。此时,该类别的 AP = (0.14-0)x1 + (0.29-0.14)x1 + (0.43-0.29)x0.5 + (0.57-0.43)x0.5 + (0.71-0.57)x0.5 + (1-0.71)x0 = 0.5
不同recall下,最大的precision值

以上便是计算单个类别的ap,mAP就是对每一个类别都计算出AP然后再计算AP平均值就好了。

代码实现

以下代码截取于YOLOv3的模型评估函数
计算单个类别的ap

# 计算每个类的ap 具体算法:
def ap_per_class(tp, conf, pred_cls, target_cls):
    """ Compute the average precision, given the recall and precision curves.
    Source: https://github.com/rafaelpadilla/Object-Detection-Metrics.
    # Arguments
        tp:    True positives (list).
        conf:  Objectness value from 0-1 (list).
        pred_cls: Predicted object classes (list).
        target_cls: True object classes (list).
    # Returns
        The average precision as computed in py-faster-rcnn.
    """

    # 1、按照pred_conf进行排序
    i = np.argsort(-conf)
    tp, conf, pred_cls = tp[i], conf[i], pred_cls[i]
    # 2、目标框中的不同类别(Person,Car...)
    unique_classes = np.unique(target_cls)
    # Create Precision-Recall curve and compute AP for each class
    ap, p, r = [], [], []
    # 3、遍历类别,计算每个类别的precison和recall
    for c in tqdm.tqdm(unique_classes, desc="Computing AP"):
        i = pred_cls == c
        n_gt = (target_cls == c).sum()  # 真实框中该类别数目
        n_p = i.sum()  # 预测框中该类别数目

        if n_p == 0 and n_gt == 0:
            continue
        elif n_p == 0 or n_gt == 0:
            ap.append(0)
            r.append(0)
            p.append(0)
        else:
            # Accumulate FPs and TPs
            fpc = (1 - tp[i]).cumsum()  # cumsum一维数组返回累计和
            tpc = (tp[i]).cumsum()

            # Recall
            recall_curve = tpc / (n_gt + 1e-16)
            r.append(recall_curve[-1])

            # Precision
            precision_curve = tpc / (tpc + fpc)
            p.append(precision_curve[-1])

            # AP from recall-precision curve
            ap.append(compute_ap(recall_curve, precision_curve))

    # Compute F1 score (harmonic mean of precision and recall)
    p, r, ap = np.array(p), np.array(r), np.array(ap)
    f1 = 2 * p * r / (p + r + 1e-16)

    return p, r, ap, f1, unique_classes.astype("int32")

对于上述例子,person类别的tp[i]为[1,1,0,0,0,1,0,0,1,1],tpc即将tp进行累加得到每个rank的分子,为[1,2,2,2,2,3,3,3,4,5]。tpc+fpc即为当前rank的预测框数目,为[1,2,3,4,5,6,7,8,9,10]。
根据precision和recall计算ap

def compute_ap(recall, precision):
    """ Compute the average precision, given the recall and precision curves.
    Code originally from https://github.com/rbgirshick/py-faster-rcnn.

    # Arguments
        recall:    The recall curve (list).
        precision: The precision curve (list).
    # Returns
        The average precision as computed in py-faster-rcnn.
    """
    # correct AP calculation
    # first append sentinel values at the end
    mrec = np.concatenate(([0.0], recall, [1.0]))
    mpre = np.concatenate(([0.0], precision, [0.0]))

    # compute the precision envelope
    for i in range(mpre.size - 1, 0, -1):
        mpre[i - 1] = np.maximum(mpre[i - 1], mpre[i])

    # to calculate area under PR curve, look for points
    # where X axis (recall) changes value
    i = np.where(mrec[1:] != mrec[:-1])[0]

    # and sum (\Delta recall) * prec
    ap = np.sum((mrec[i + 1] - mrec[i]) * mpre[i + 1])
    return ap

参考

https://www.zhihu.com/question/53405779

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,923评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,154评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,775评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,960评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,976评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,972评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,893评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,709评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,159评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,400评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,552评论 1 346
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,265评论 5 341
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,876评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,528评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,701评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,552评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,451评论 2 352