https://arxiv.org/abs/2103.16562
https://bowenc0221.github.io/boundary-iou
https://hub.fastgit.org/bowenc0221/boundary-iou-api
提出了一种新的基于边界质量的分割评价方法——边界IoU（Intersection over Union）。我们对不同的错误类型和对象大小进行了广泛的分析，结果表明，对于大对象，边界IoU比标准的Mask IoU度量对边界错误更敏感，并且不会过度惩罚小对象上的错误。这种新的质量度量方法具有对称的w.r.t.预测/地面真值对和跨尺度的均衡响应等特性，比Trimap-IoU和F-measure等边界聚焦度量方法更适合于分割评价。在边界IoU的基础上，通过提出边界AP（平均精度）和边界PQ（全景质量）度量，更新了实例和全景分割任务的标准评估协议。我们的实验表明，新的评价指标跟踪边界质量的改善，这是目前普遍忽视的掩膜IoU的评价指标。我们希望，采用新的边界敏感评价指标将导致分割方法的快速发展，提高边界质量
通用任务框架[27]，其中标准化任务、数据集和评估指标用于跟踪研究进展，从而产生令人印象深刻的结果。例如，研究实例分割任务的研究人员需要一种算法来用像素级二值掩模来描绘对象，从2015年[12]到2019年[24]期间，将COCO[28]上的标准平均精度（AP）度量提高了令人吃惊的86%（相对）。
但是，由于不同的评估指标对不同类型的错误敏感（或不敏感），因此在所有错误模式中，这种进展并不相等。如果度量被使用了很长时间，就像在公共任务框架中一样，那么相应的子字段将最快地解决此度量敏感的错误类型。改进其他错误类型的研究方向通常进展得更慢，因为这样的进展很难量化。
实例分割中存在这种现象，在众多的论文中，有助于AP（例如[41、4、1、19、25]）的86%的相对改进，其中只有少数地址掩码边界质量。
注意，掩模边界质量是图像分割的一个重要方面，因为下游的各种应用程序直接受益于更精确的对象分割[39、33、34]。然而，口罩R-CNNB基方法的主要家族[17]众所周知，可以预测低保真度、斑点遮罩（见图1）。这一观察表明，当前的评估指标对掩盖目标边界附近的预测错误的敏感性可能有限。
为了了解原因，我们首先分析了基于联合的掩模相交（Mask-IoU），这是AP中用来比较预测和地面真实掩模的基本措施。掩码IoU将两个遮罩的交叉区域按其结合区域划分。该测量值将所有像素值相等，因此，对于较大对象中的边界质量不太敏感：内部像素的数量以对象大小呈正交增长，并且可以远远超过边界像素的数量，而边界像素的数量仅线性增长。本文旨在确定一种对边界质量敏感的图像分割方法。
为此，我们首先研究标准分割措施，如掩码IoU和边界聚焦度量，如Trimap IoU[23，6]和F-度量[30，11，32]。我们通过在LVIS数据集的高质量地面真实掩模之上生成各种错误类型，研究了每个测量的误差敏感性特性[16]。我们的分析证实，掩码IoU对较大对象中的错误不太敏感。此外，分析还揭示了现有边界聚焦度量的局限性，如不对称性和不稳定性对掩模质量的微小变化。
基于这些见解，我们提出了一种新的边界IoU度量。边界IoU简单，计算简单。它不考虑所有像素，而是计算距离相应地面真实值或预测边界轮廓一定距离内的掩模像素的结合交点。分析表明，边界IoU与掩模IoU相比，能很好地测量大目标的边界质量，并且不会对小对象的误差进行过多的惩罚。一个示例将边界IoU与图1中的掩码IoU进行了比较。
边界IoU支持新的任务级评估指标。对于实例分割任务[28]，我们提出了边界平均精度（Boundary AP），对于全景分割任务[21]，我们提出了边界全景质量（Boundary PQ）。
边界AP评估实例分割的所有相关方面，同时考虑分类、定位和分割质量，不像AF[26]这样忽略假阳性率的实例分割的先前边界聚焦度量。我们在三个常见的数据集上测试边界AP:COCO[28]、LVIS[16]和Cityscapes[10]。通过最近直接以改善边界质量为目标的实例分割方法的实际预测[22，8]，我们验证了边界AP比掩模AP跟踪改善的效果更好。通过综合预测，我们发现边界AP比掩模AP对大目标边界质量更敏感。
对于全景分割，我们将边界PQ应用于COCO[21]和Cityscapes[10]全景数据集。我们用合成预测测试了新的度量，结果表明它比以前基于Mask-IoU的度量更敏感。最后，我们使用新的评估指标来评估各种最近实例和全景分割模型的性能，以便于将来的研究比较。
这些新的度量揭示了边界质量的改进，这些改进通常被基于掩码IoU的评估度量所忽略。我们希望采用这些新的边界敏感评价方法能够加快分割模型的进程，提高边界质量。
2相关工作和准备工作
图像分割任务，如语义、实例或全景分割，是通过比较系统预测的分割掩码和注释器提供的地面真值掩码来评估的。这些任务的现代评估指标基于分割质量度量，该度量评估由固定分辨率的二进制掩模表示的地面真实对象形状G和预测形状P之间的一致性。我们在表1中使用表2中的统一表示法定义了最常见的分割质量度量和新的边界IoU度量。我们将度量分为基于掩码和基于边界的类型，然后讨论它们的区别。
基于遮罩的分割方法考虑了对象遮罩的所有像素。2007年第一个PASCAL VOC语义分割跟踪[14]使用像素精度度量来评估预测。对于每个类，它计算正确标记的地面真像素的比率（见表1）。像素精度是不对称的，偏向于比地面真值掩模大的预测掩模。随后，PASCAL VOC[13]将其评估转换为联合上的掩码交叉（Mask IoU）度量。
Mask IoU segmentation consistency measure将预测掩码和地面真值掩码相交处的像素数除以其并集的像素数（见表1）。该度量广泛应用于大多数流行的语义、实例和全景分割任务[13、28、21]和数据集[10、3、40、28]的评估度量中。与像素精度不同，掩模IoU是对称的，然而，正如我们将在本文中展示的，它显示了对不同对象大小的边界质量的不平衡响应。
基于边界的分割方法通过估计预测和地面真值掩模之间的轮廓对齐来评估分割质量。与基于遮罩的度量不同，这些度量仅评估直接位于遮罩轮廓上或其附近的像素。
Trimap IoU[23，6]是一种基于边界的分割度量，它在距地面真值掩模轮廓的像素距离d内的像素窄带内计算IoU（见表1）。与Mask IoU不同，Trimap IoU的反应类似于对象尺度上的可比较像素错误，因为它只计算轮廓周围像素的IoU。然而，与掩模IoU不同，该度量是非对称的，并且有利于掩模比相应的地面真值掩模大的预测。此外，该方法忽略了出现在地面真值轮廓带外的预测误差。
F-测度最初用于边缘检测[31]，但也用于评估分割质量[11，32]。F-measure=2·p·r/（p+r），其中p和r表示精确度和召回率。在原始定义中，p和r通过匹配预测和像素距离阈值d内的地面真轮廓像素通过二部匹配来计算。然而，对于高分辨率掩模和大型数据集，匹配过程在计算上是昂贵的，因此，[11,32]提出了一种通过允许重复匹配来计算精度和召回率的近似过程，我们用p和r表示。在这种情况下，p¥计算预测轮廓中距离地面真值轮廓d内的像素比率，而r¥计算地面真值轮廓像素的类似比率，见表1。在本文的其余部分，我们使用了F-测度的近似公式。该度量是对称的，可以容忍可归因于模糊性的小轮廓偏差，但是，当对象大小与d相当时，它忽略了显著的错误。例如，在数据集中常见的d和小对象的合理选择（例如，COCO[28]）。
Trimap和F-measure通常被用来评估语义切分任务的边界质量。例如，Trimap IoU被用作额外的评估，以显示边界质量的改善[6，29]，但大多数分割方法都没有报告。在下一节中，我们将详细研究这两种度量，并分析它们在不同错误类型和对象大小下的行为。
三。敏感性分析
在§4和§5中，我们将通过观察度量值如何响应不同大小的错误而变化，来比较几种遮罩一致性度量。我们将观察并解释这些曲线，以得出关于这些措施行为的结论，我们称之为敏感性分析的方法。
为了进行系统的比较，我们通过从地面真值注释生成伪预测来模拟一组跨越不同掩模尺寸的常见分割错误。这种方法允许我们显式地控制分析中使用的错误的类型和严重性。此外，伪预测的使用避免了对特定分割模型的任何偏见，这使得分析更加稳健和通用。这种方法的一个潜在限制是，模拟误差可能不能完全代表真实模型产生的误差。我们的目标是通过使用一组不同的错误类型来抵消这种限制。图2描述了我们考虑的每种错误类型的示例：
•刻度误差。膨胀/侵蚀应用于地面真相面具。错误严重性由形态学运算的核半径控制。
•边界定位错误。随机高斯噪声被添加到表示地面真值遮罩的多边形中每个顶点的坐标中。误差严重性由高斯噪声的标准差（std）控制。
•对象定位错误。地面真值掩模随机偏移。错误严重性由移位的像素长度控制。
•边界近似误差。Shapely[15]中的simplify函数从表示地面真相遮罩的多边形中移除顶点，同时使简化的多边形尽可能接近原始多边形。错误严重性由simplify函数的容错参数控制。
•内遮罩错误。随机形状的孔被添加到地面真相面具。错误严重性由添加的孔数控制。虽然这种错误类型在现代分割方法中并不常见，但我们将其用于评估内部遮罩错误的影响。
实施细节。
为了进行分析，我们从lvisv0.5[16]验证集中随机抽取实例掩码。选择数据集是因为它具有高质量的注释。使用这些掩码，对于每种分割错误类型，我们通过改变错误的严重性来创建多组伪预测。为了分析分割度量，我们报告了一组伪预测的平均值和标准差，这些伪预测表示给定的错误类型，具有固定的严重性。我们还将通过使用特定遮罩区域范围内的地面真值对象生成一组单独的伪预测来比较不同对象大小的分割度量。对于使用像素距离参数d的所有基于边界的度量，我们将其设置为图像对角线的2%，以进行公平比较。
4现有细分措施分析
首先，我们从理论和实证两个角度分析了标准Mask-IoU分割一致性度量。然后，我们研究了两种现有的替代方法：Trimap-IoU和F-measure边界度量。
4.1. 遮罩借据
理论分析。
掩模IoU是缩放不变的w.r.t.对象区域。对于固定的Mask IoU值，较大的对象将具有更多的不正确像素，并且不正确像素计数的变化与对象区域的变化成正比（因为Mask IoU是区域的比率）。然而，当放大典型对象时，内部像素的数量呈二次增长，而轮廓像素的数量仅呈线性增长。这些不同的渐进增长率使得掩模IoU在较大对象的每单位轮廓长度上能够容忍较大数量的误分类像素。
实证分析。
这一性质对应于一个假设，即地面真值标注中的边界定位误差（即固有的标注模糊度）也随对象大小而增大。然而，一项关于多区域分割的经典研究[30]表明，由不同注释器标记的同一对象的两个轮廓之间的像素距离很少超过图像对角线的1%，而与对象大小无关。我们通过探索LVIS中为图像子集提供的双重注释来证实这一观察[16]。在图3中，我们展示了一对大小有显著差异的随机对象。当其中一个对象的大小是100倍时，具有相同分辨率的裁剪部分内的边界差异在两个对象之间是相似的。观测结果表明，边界模糊度是固定的，与目标区域无关。这可能是注释工具的结果，它包括绘制轮廓时缩放的能力。
使用模拟比例误差（如§3所述），我们确认掩模IoU偏向于大对象。通过固定数量的像素对地面真值掩模的膨胀/侵蚀显著地降低了小对象的掩模IoU，而掩模IoU随着对象面积的增加而增长（参见图4a）。请注意，掩码IoU对大型对象上的边界错误不敏感不能通过简单地增加AP或PQ等评估度量中的最低掩码IoU阈值来解决。这种改变并不能弥补这种偏见，而且会导致对较小物体的相对过度惩罚。
4.2. 基于边界的度量
接下来，我们将分析基于边界的度量Trimap-IoU和F-measure。这些度量集中在距离对象轮廓d以内的像素上。参数d通常固定在数据集[6]或图像级别[32]上，这导致这些度量独立于对象的大小来处理边界定位错误。通过匹配地面真值分割数据的自然特征，这些基于边界的度量更适合于评估不同对象大小的边界质量改进。
Trimap IoU仅计算地面真值边界周围区域的IoU（即，该区域独立于预测），因此不是对称的：交换预测和地面真值掩码将给出不同的分数。在图4b中，我们表明这种不对称性有利于比地面真相面具更大的预测。对于较大的（扩展的）伪预测，无论错误严重程度如何，Trimap IoU都不会降到某个正值以下，而对于较小的（侵蚀的）伪预测，Trimap IoU会降到0。此外，该度量忽略了地面真值边界区域之外的任何错误，惩罚小于掩码IoU的内部掩码错误（详细信息见附录）。
F-Measure匹配预测和地面真实轮廓的像素，如果它们在像素距离阈值d内。因此，它忽略了可归因于模糊性的小轮廓错位。虽然对模糊度的鲁棒性原则上是好的，但在图4c中，我们观察到Fmeasure几乎可以是不连续的，当错误严重性变化很小时，Fmeasure可以从1快速步进到0。尖锐的反应曲线可以导致高方差的任务指标。相比之下，面具借据更连续。此外，相对于小对象，d可能较大，导致F-度量将显著错误判为满分。
讨论。
鉴于上述局限性，我们得出结论，Trimap-IoU和F-measure都不能取代Mask-IoU作为广泛评估指标的主要分割一致性度量。同时，Mask-IoU偏向于大对象，不利于边界分割的改进。接下来，我们提出边界IoU作为一个新的衡量标准来评估分割边界质量，它没有任何前面提到的限制。
Mask-IoU作为一种主要的分割一致性度量，适用于广泛的评价指标。同时，Mask-IoU偏向于大对象，不利于边界分割的改进。接下来，我们提出边界IoU作为一个新的衡量标准来评估分割边界质量，它没有任何前面提到的限制。
5边界借据
在本节中，我们将介绍一种新的分割度量，并使用模拟错误将其与现有的一致性度量进行比较。新的度量应该比Mask IoU对大对象有更弱的偏向性。此外，我们的目标是一个措施，既不过度惩罚，也不忽略错误，在小对象类似于遮罩IoU。
在这些原则的指导下，我们提出了边界IoU分割一致性度量。新的度量方法同时简单，并且满足上面列出的原则。给定两个遮罩G和P，Boundary IoU首先计算距离每个轮廓d内的原始遮罩像素集，然后计算这两个集的并集的交集（见图5）。使用表2中的符号：
其中，边界区域Gd和Pd分别是距地面真值和预测轮廓d像素距离内的所有像素的集合。注意，新的度量只评估距轮廓像素距离d内的遮罩像素。直接计算边界区域Gd和Pd的IoU的一个简单版本丢失了关于锐利轮廓角的信息，这些锐利轮廓角通过考虑距离轮廓d内的所有像素来平滑。
边界IoU中到轮廓参数d的距离控制测量的灵敏度。当d足够大以包含预测和地面真值遮罩内的所有像素时，边界IoU变得等效于遮罩IoU。对于较小的参数，d边界IoU忽略了内部遮罩像素，这使得它比遮罩IoU对较大对象的边界质量更敏感。对于较小的对象，边界IoU非常接近，甚至等同于掩码IoU，这取决于参数d，该参数防止它过度惩罚较小对象中的错误，其中内部像素的数量与接近轮廓的像素的数量相当。
在图6和图7中，我们给出了边界IoU的分析结果。分析表明，在所有考虑的错误类型中，边界IoU比掩码IoU更倾向于大对象大小（图6）。改变对象大小，同时保持错误严重性不变（图7），边界IoU的行为与较小对象的掩码IoU相同，避免了对任何错误类型的过度惩罚。对于较大的物体，边界IoU减小了掩模IoU所表现出的偏差，并且在给定固定误差严重度的情况下，随着物体面积的增加，其值增长更慢。
与Trimap IoU比较。
我们注意到，新的度量看起来与Trimap IoU非常相似（见表1）。然而，与Trimap IoU不同，边界IoU同时考虑接近预测和地面真实轮廓的像素。这个简单的更改弥补了Trimap IoU的两个主要限制。新的度量是对称的，并且惩罚出现在远离地面真值边界的错误（参见图6（a）、（b）和（f））。
与F-measure比较。
F-measure使用预测和地面真值掩模轮廓之间的硬匹配。如果轮廓像素之间的距离在d像素以内，那么精度和召回都是完美的，但是一旦距离超过d，匹配就根本不会发生。相反，Boundary IoU以软的方式评估一致性。如果两个等高线完全对齐并且等高线发散，则并集上的交点为1.0，边界IoU逐渐减小。在附录中，我们还比较了边界IoU和F-测度的软推广，F-测度平均了不同参数d的多个分数。我们的分析表明，与掩模IoU和边界IoU相比，它对小对象中的错误惩罚不足。
像素距离参数d。
如果d足够大，则边界IoU等于掩码IoU。另一方面，如果d太小，边界IoU严重惩罚即使是最小的错位忽略可能的模糊轮廓。为了选择不会过度惩罚轮廓可能的模糊性的d，我们使用边界IoU来测量两个独立描绘相同对象的专家注释者的一致性。LVIS[16]的创造者已经收集了COCO[28]和ADE20k[40]数据集中的图像的专家注释。两个数据集都有相似分辨率的图像，我们发现当d等于图像对角线的2%（平均15像素距离）时，两个专家注释之间的中值边界IoU超过0.9。对于具有更高分辨率图像和出色注释质量的城市景观[10]，我们建议使用相同的像素距离，这导致数据集的d设置为图像对角线的0.5%。
对于其他数据集，我们建议在选择像素距离d时考虑两个因素：（1）注释一致性设置d的下限；（2）应根据当前方法的性能选择d，并随着性能的提高而降低。
边界IoU的限制。
新的度量方法不会评估距离相应的地面真值或预测边界超过d个像素的遮罩像素。因此，它可以奖励一个完美的分数不相同的面具。例如，Boundary IoU非常适合于盘状掩模和环形掩模，其中心和外半径与磁盘相同，加上内半径正好比外半径小d个像素（我们在附录中展示了这个示例）。对于这两个掩模，圆盘状掩模的所有非匹配像素都离其边界远大于d个像素。为了惩罚这样的情况，我们建议一个简单的组合面具欠条和边界欠条采取他们的最小值。在我们对真实预测和模拟预测的实验中，我们发现在绝大多数情况下（99.9%）边界IoU小于或等于掩码IoU，并且当具有精确边界的预测遗漏了对象的内部部分时，违反了不等式（类似于上面的玩具示例）。
6应用
例如，最常见的评估指标和全景分割任务分别是平均精度（AP或Mask AP）[28]和全景质量（PQ或Mask PQ）[21]。这两种度量都使用了Mask IoU，并继承了它对大型对象的偏见，以及随后在[22,35]中观察到的对边界质量的不敏感。
如前一节所建议的，我们通过用min（Mask IoU，Boundary IoU）替换Mask IoU来更新这些任务的评估度量。我们将新的评价指标命名为边界AP和边界PQ。这种改变很容易实现，我们证明了新的度量对边界质量更为敏感，同时能够跟踪预测中其他类型的改进。
我们希望，采用新的评价指标将允许分割方法的边界质量的快速进步。我们在正文中给出了我们的结果，例如分割，并参考附录来分析边界PQ。
例如分割。
实例分割任务的目标是用一个像素级的遮罩描绘每个对象。任务的评估指标是同时评估分类、定位和分割质量等多个方面。为了比较不同的评价指标，我们用合成预测和实际分割模型进行了实验。合成预测允许我们单独评估分割质量方面，而实际预测则提供了边界AP跟踪实例分割任务所有方面的能力。
本文比较了COCO实例分割数据集[28]上的Mask AP和Boundary AP。此外，我们的发现还得到了附录中关于城市景观[10]和LVIS[16]的类似实验的支持。所有数据集的详细描述见附录，以及对所有三个数据集的各种最新和经典模型的边界AP评估。这些结果可作为今后简化方法比较的参考。
6.1. 综合预测评价
使用合成预测，我们评估的分割质量方面的实例分割没有偏见，任何特定的模型可以隔离。我们通过限制每个掩模的有效分辨率来模拟预测。首先，我们将裁剪后的地面真值掩模缩小为具有连续值的28×28分辨率2掩模，然后使用双线性插值将其放大，最后对其进行二值化。对于较小的物体，这种合成掩模与地面真值掩模非常接近，但是这种差异随着物体尺寸的增大而增大。在表3中，我们报告了COCO[28]中定义的对象大小拆分的总体AP和AP、APM和APL。Mask-AP遵循Mask-IoU的行为，对APS和APL之间的误差增长不敏感。相比之下，边界AP成功地捕捉到了较大物体的差异，得分明显较低。在附录中，我们提供了一个使用不同有效分辨率的合成预测和更多结果的示例。
6.2. 真实预测评估
我们使用现有分割模型的输出来进一步研究边界AP。除非另有规定，为了将分割质量从分类和定位错误中分离出来进行分析，我们为这些方法提供了基本的真值框，并为每个框指定了一个随机的置信度。除非另有规定，否则我们将Detectron2[36]与ResNet-50[18]主干一起使用。
遮罩AP与边界AP。
表4a显示了标准掩模R-CNN模型的掩模AP和边界AP[17]。Mask R-CNN是众所周知的，它可以预测较大物体上有明显视觉缺陷的块状遮罩（见图1）。然而，Mask-APL比Mask-APS大。相比之下，我们观察到，对于掩模R-CNN，边界APL小于边界APS，这表明新的度量方法对大对象的边界质量更敏感。请注意，在这个实验中，使用地面真值框可以消除任何分类和定位错误，这些错误对于小对象来说通常更大。
细分与分类和本地化。
一个通用的评估指标（例如分段）应该跟踪任务各个方面的改进，包括分段、分类和本地化。在表4b中，我们首先评估带有几个主干（ResNet-50、ResNet-101和ResNeXt-101-32×8d[37]）的掩码R-CNN，再次提供地面真值框。注意，掩码AP和边界AP在不同的主干中没有显著变化，这表明更强大的主干不会直接影响分割质量。接下来，我们评估边界AP，要求每个模型预测自己的盒子作为标准。我们观察到，边界AP能够跟踪改进，从更好的定位和分类类似于遮罩AP。
掩模质量改进。
我们探讨了边界AP通过表4c和4d中为此目的设计的方法捕获分割质量改进的能力。为了比较不同模型的分割质量方面，我们再次为每个模型提供地面真值框。
PointRend[22]是为了提高Mask R-CNN等模型的像素级预测质量而开发的，可以产生不同分辨率的预测。PointRend显著提高了遮罩质量，虽然这可以通过遮罩AP测量，但在边界AP中更为明显，尤其是对于大型对象和更高分辨率的PointRend变体。详见表4c。
边界保持掩模R-CNN[8]（BMask-RCNN）通过增加直接边界监督损失和提高掩模头中使用的特征映射的分辨率来改善边界质量。在表4d中，边界AP显示BMask R-CNN以其28×28的输出分辨率优于PointRend，对于较小的对象，而对于较大的对象，PointRend的224×224分辨率输出更可取，这与主观视觉质量评估相匹配（参见图1中的示例）。我们希望新的边界AP度量的灵敏度的提高将导致提高边界质量的方法的快速发展，例如分割。
7结论
与标准掩码IoU不同，边界IoU分割质量度量提供了一个清晰、定量的梯度，以奖励边界分割质量的改进。我们希望这项新的措施将挑战我们的社会，以发展新的方法与高保真掩模预测。此外，边界IoU允许对复杂的多方面任务（如实例分割和全景分割）的分割相关错误进行更精细的分析。在诸如TIDE[2]这样的性能分析工具中加入度量可以更好地洞察实例分割模型的特定错误类型。
