《Generalized Intersection over Union: A Metric and A Loss for Bounding Box Regression》论文详解

现在在物体检测领域,通常会使用IoU(Intersection over Union)来作为一个很重要的度量指标。但是很多时候在训练网络时,采用的是l2-norm来回归检测框的,文章认为采用l2-norm来训练模型而使用IoU来衡量模型好坏,这两者之间似乎存在着某种不匹配的关系。

举个例子,如下图所示,


1.png

现假设采用左上角右下角的坐标来表示一个矩形框,即(x_1,y_1,x_2,y_2)。在采用l2-norm来度量两个框的匹配度,即上图中绿色表示的ground truth框与黑框表示的预测框之间的匹配度,当假设两个框的一个角的欧拉距离是固定的(这里假设两个框的左下角距离固定),那么这两个框在l2-norm度量下的相似度,在当以绿色框右上角为圆形某固定值为半径的圆(黑色虚线表示)上的每个点表示预测框的右上角时,l2-norm值是一样的。
这句话可以用下面公式表示:
绿色框左上角坐标为(x_1,y_1)右下角为(x_2, y_2)
黑色框左上角坐标为(x'_1,y'_1)右下角为(x'_2, y'_2)
下面要满足两个条件,

  1. 两个框左下角(x_1, y_2),(x'_1, y'_2)距离为定值,可以用下面公式表示
    (x_1-x'_1)^2 + ((y_2-y'_2)^2)=a
    这里a表示定值
  2. (x_2, y_1)为圆形,某个定值为半径,可以用下面公式表示
    (x-x_2)^2+(y-y_1)^2=r^2
    这里用r表示半径

将上面两式相加就是两个矩形框的l2-norm的表示,可以看出只要取圆上的另一一点,l2-norm的结果是一样的,而这时候IoU和后面要介绍的GIoU值都是不一样的,这就说明了l2-norm不能很好的表示IoU值。而且这个结论与用什么方式表示矩形框是无关的,如下面用矩形框的中心点和框的宽高来表示一个框也可以得到相应的结论。


2.png

为了更好的优化网络以及有一个更好的度量,文章提出了GIoU的概念。

一、GIoU的性质

下面先来回顾一下IoU的计算,如下式表示
对于任意两个形状,A和B,它们的IoU为
IoU = \frac{|A\bigcap B|}{|A\bigcup B|}
当两个物体没有相交时,IoU定义为0。
IoU具有以下性质,使得IoU在2D、3D计算机视觉中成为一个重要的评测指标:

  1. IoU能作为一中度量,而L_{IoU}=1-IoU能满足度量的所有性质。
  2. IoU对于尺度有不变性。这意味着两个任意形状A和B之间的相似性与它们的空间尺度无关。

然而IoU作为度量也有它的缺点,那就是当|A\bigcap B|=0是IoU为0,这时候并不能表示两个物体之间的距离,他们是邻近的还是相距很远的。为了解决这个问题,本文提出GIoU。

先介绍一下GIoU作为一种度量方式,它具有的性质:

  1. 类似与IoU,GIoU也能表示距离。L_{GIoU}=1-GIoU能满足度量的所有性质。
  2. 类似IoU,GIoU也对于尺度有不变性。
  3. GIoU是IoU的下界,即GIoU(A,B)\le IoU(A,B),当A和B的形状和位置无限趋近时,等号成立
  4. 类似0\le IoU \le 1-1\le GIoU \le 1,如果两个物体重叠时IoU(A,B)=GIoU(A,B)=1,如果两个物体的并集与包围两个物体的形状之比趋近0时GIoU取得-1。

二、GIoU的计算方式

对于两个框表示
预测框:B^p = (x^p_1, y^p_1, x^p_2, y^p_2)
标注框:B^g = (x^g_1, y^g_1, x^g_2, y^g_2)

  1. 为确保预测框中x^p_2 \gt x^p_1,y^p_2 \gt y^p_1:
    \hat x^p_1 = min(x^p_1, x^p_2),\hat x^p_2 = max(x^p_1, x^p_2)
    \hat y^p_1 = min(y^p_1, y^p_2),\hat y^p_2 = max(y^p_1, y^p_2)
  2. 标注框的面积为A^g = (x^g_2-x^g_1)\times (y^g_2-y^g_1)
  3. 预测框的面积为A^p = (x^p_2-x^p_1)\times (y^p_2-y^p_1)
  4. 两者的交集为
    x^I_1=max(\hat x^p_1, x^g_1),x^I_2=min(\hat x^p_2, x^g_2)
    y^I_1=max(\hat y^p_1, y^g_1),y^I_2=min(\hat y^p_2, y^g_2)
    I = \left\{ \begin{array}{lr} (x^I_2-x^I_1)\times(y^I_2-y^I_1) \quad if x^I_2\gt x^I_1,xy^I_2\gt y^I_1 \\ 0 \quad otherwise \end{array} \right.
  5. 计算两个框最小的包围框
    x^c_1=min(\hat x^p_1, x^g_1),x^c_2=max(\hat x^p_2, x^g_2)
    y^c_1=min(\hat y^p_1, y^g_1),y^c_2=max(\hat y^p_2, y^g_2)
  6. 最小的包围框的面积为A^c = (x^c_2-x^c_1)\times (y^c_2-y^c_1)
  7. IoU=\frac{I}{U}, U = A^p+A^g-I
  8. GIoU = IoU-\frac{A^c-U}{A^c}
  9. L_{GIoU}=1-GIoU
    当IoU为0时在训练网络时没有梯度了,影响训练质量和模型收敛速度,而GIoU不会为0。而且从GIoU的性质3可以看出,GIoU与IoU有很强的相关性。文章也采用了随机的10K个样本求IoU和GIoU得到下图,也可以 看出二者相关性,并且还能看出GIoU相对于IoU能够获得更陡的梯度值,更有利于模型训练。
    3.png

关于GIoU Loss的稳定性
通过前面介绍知道
0\le L_{IoU} \le 10\le L_{GIoU} \le 2
所以两个loss都是有界的

L_{IoU}在IoU为0时的行为
当IoU=0时,L_{GIoU} = 2-\frac{U}{A^c},要使得loss减小,就要使U/A^c增大,从而要使得U增大或者A^c减小,要达到这种要求就需要预测框和标注框尽量重叠。

关于GIoU实践可能存在的问题
在博主训练yolov3的时候,使用了GIoUloss,不用与smoothL2-loss的计算只要算坐标的一个偏置量的差值,要算GIoUloss必须先求出坐标,而在求坐标的时候使用了e为底的指数,造成了w和h为inf的情况,导致loss为nan,采用的办法是限制w和h为一个较大的值。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,204评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,091评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,548评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,657评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,689评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,554评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,302评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,216评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,661评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,851评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,977评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,697评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,306评论 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,898评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,019评论 1 270
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,138评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,927评论 2 355

推荐阅读更多精彩内容