神经网络评估指标学习笔记

本博客内容来源于网络以及其他书籍,结合自己学习的心得进行重编辑,因为看了很多文章不便一一标注引用,如图片文字等侵权,请告知删除。

传统2D计算机视觉学习笔记目录------->传送门
传统3D计算机视觉学习笔记目录------->传送门
深度学习学习笔记目录 ------------------->传送门

前言

新年好啊,新年好啊,祝福大家新年好! 明天就是元旦,希望自己和小伙伴们都能在新的一年内,学业进步,工作顺利,生活顺利。

自从开始在简书记录自己的学习过程已经有四五个月了,写了也有三十多篇文章,在这个过程也收货了很多,能明显感受到对一些东西的理解加深了,不再是模棱两可了,印象也更深了。在此过程中,也认识了很多的朋友,明年一起努力呀。


新年快乐

祝福语写完了,圆规正转。本文将一些常见的神经网络评估的指标记录一下,谁让我经常忘记搞混呢。

常见评估指标

下面列举一些在使用中经常计算的神经网络的评估指标的计算方式以及个人理解。想了很多中办法解释,还是举个例子比较好。

例子吗,最近看到一个比较厉害的,在王自如与刘翔的一组图中找出刘翔。

假如,只能假如了(因为我也分不清),其中有3个是刘翔,其他的是王自如,这就是真实值了。但是我们的模型找出了5个刘翔,但是其中只有两个刘翔是对的。

现在我们定义几个概念:

  • 真正例(TP):实际上是正例的数据点被标记为正例,刘翔的照片被识别为刘翔,则TP的数目是2

  • 假正例(FP):实际上是反例的数据点被标记为正例,非刘翔的照片被识别为刘翔,则FP的数目是3

  • 真反例(TN):实际上是反例的数据点被标记为反例,非刘翔的照片被识别为非刘翔,则TN的数目是2

  • 假反例(FN):实际上是正例的数据点被标记为反例,刘翔的照片被识别为非刘翔,则FN的数目是1

  • 误差(Loss)

误差这个就比较简单了,是我们的优化目标,误差越小,我们基本上可以认为我们的效果在训练集上或者验证集上效果会更好,模型更接近最优解。误差的获得当然就是通过我们的损失函数获得了的。

  • 准确率(Accuracy)

准确率计算的是预测正确的样本数 占全部预测正确样本数的比例。
即 : (TP+TN)/(TP+FP+TN+FN)
对应例子中的解就是4/8 = 0.5

  • 误检率(false positve)

误检率就是预测错误的数目与所有预测数目之比
即:FP/(TP+FP)
对应例子中的解就是 3/5 = 0.6

  • 精确率(precision)

精确率就是预测正确的数目与所有预测数目之比
即:TP/(TP+FP)
对应例子中的解就是 2/5 = 0.4

  • 召回率(recall)

召回率就是预测正确的数目与样本中所以待预测的数目之比
即:TP/(TP+FN)
对应例子中的解就是 2/3 = 0.6666

  • 平均精确率(mAP)

字面意思就是所有类别精确率的平均值。
对应例子中的解就是 (0.4+0.6666)/2 = 0.53333

  • F1-measure

我们先简单的将其计算公式写出,之后在一起评价这些优缺点。
即:2*(召回率×精确率)/(召回率+精确率)
对应例子中的解就是 2 * 0.66666 * 0.4/(0.66666+0.4) = 口算不出来就不算了

  • 以上评估标准的评价

我们先看精确率与召回率,我们当然希望结果精确率越高越好,召回率也越高越好,但事实上这两者在某些情况下是矛盾的。比如极端情况下,我们只搜出了一个结果,且是准确的,那么精确率就是100%,但是召回率就有可能很低,因为很多正确的结果没有找到;而如果我们把所有结果都返回,那么必然召回率是100%,但是精确率很低。

为了弥补精确率与召回率的矛盾的尴尬,我们提出了F-measure,或者叫F-Score,F-Measure是Precision和Recall加权调和平均。即:

当权重等于1时,就有F1-measure,即:

但是无论是精确率与召回率还是F1-measure 都是针对单类别的评价,对于多类别的任务我们提出了mAP来表达模型的效果。mAP是准确率-召回率都相关的全局指标。

总结

在2019年的最后几个小时总结完了这些东西,虽然简单,但是也是我保持学习的见证,2020加油啊。

心想事成

重要的事情说三遍:

如果我的文章对您有所帮助,那就点赞加个关注呗 ( * ^ __ ^ * )

如果我的文章对您有所帮助,那就点赞加个关注呗 ( * ^ __ ^ * )

如果我的文章对您有所帮助,那就点赞加个关注呗 ( * ^ __ ^ * )

传统2D计算机视觉学习笔记目录------->传送门
传统3D计算机视觉学习笔记目录------->传送门
深度学习学习笔记目录 ------------------->传送门

任何人或团体、机构全部转载或者部分转载、摘录,请保留本博客链接或标注来源。博客地址:开飞机的乔巴

作者简介:开飞机的乔巴(WeChat:zhangzheng-thu),现主要从事机器人抓取视觉系统以及三维重建等3D视觉相关方面,另外对slam以及深度学习技术也颇感兴趣,欢迎加我微信或留言交流相关工作。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 220,458评论 6 513
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 94,030评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 166,879评论 0 358
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,278评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,296评论 6 397
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 52,019评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,633评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,541评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,068评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,181评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,318评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,991评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,670评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,183评论 0 23
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,302评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,655评论 3 375
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,327评论 2 358

推荐阅读更多精彩内容