FPN论文笔记

学习笔记,错误很多,不要被误导。


高分辨率图像对于检测小物体非常重要。

一、灵感

    曾经的各种金字塔效果不好。

a)图像金字塔,即将图像做成不同的scale,然后不同scale的图像生成对应的不同scale的特征。这种方法的缺点在于增加了时间成本。有些算法会在测试时候采用图像金字塔。

(b)像SPP net,Fast RCNN,Faster RCNN是采用这种方式,即仅采用网络最后一层的特征。

(c)像SSD(Single Shot Detector)采用这种多尺度特征融合的方式,没有上采样过程,即从网络不同层抽取不同尺度的特征做预测,这种方式不会增加额外的计算量。作者认为SSD算法中没有用到足够低层的特征(在SSD中,最低层的特征是VGG网络的conv4_3),而在作者看来足够低层的特征对于检测小物体是很有帮助的。

(d)本文作者是采用这种方式,顶层特征通过上采样和低层特征做融合,而且每层都是独立预测的。

二、一个FPN很牛批的特征金字塔

    目的是创造一个在所有尺度有着强语义的特征金字塔。为了完成这一目标,我们依靠一种将低分辨率、强语义特征和高分辨率、弱语义特征结合的结构,基于一种自顶向下的路径和横向连接的方式 。这种结构可以产生一个在所有层都有着丰富语义的特征金字塔,并且可以从单个输入图像上快速建立。

  我们的思想将任意大小的单尺度图像作为输入,用全卷积的方式,在多个层输出成比例大小的特征图。这个过程独立于主体的卷积结构,在这篇文章中我们使用ResNets呈现结果 [16]。我们金字塔的结构涉及一个自底向上的方式、一个自顶向下的方式和横向连接,就像下面介绍的那样。

自底向上的方式 : 自底向上方式是主体ConvNet的前向计算,它计算了一个由多个尺度特征图组成的特征层次结构,每步的缩放大小为2。通常有许多层产生相同大小的输出图,我们说这些层处于相同的网络阶段。我们选择每个block的最后一层的输出作为我们的特征图的参考集,我们将丰富它来创建我们的金字塔。这种选择是有道理的,因为每个block最深的层应该有着最强的特征。

  具体来说,对于ResNet,我们使用每个阶段最后的残差块的特征激活层的输出。我们将这些残差块最后的输出(即conv2、conv3、conv4和conv5的输出)表示为{C2,C3,C4,C5},注意,他们相对于输入图像,分别以 {4,8,16,32}这么多步长缩放了图像的尺寸(应该是这么理解的:and note that they have strides of {4, 8, 16, 32} pixels with respect to the input image)。conv1占用了大量内存,所以我们不将其包含在金字塔中。

自顶向下的方式和横向连接 :通过从更高的金字塔层次上对空间上更粗、但语义上更强的特征图进行采样,自上而下的路径产生了更高分辨率的特征。这些特征被从自底向上途径中利用横向连接得到的特征增强。每个横向连接都融合自底向上路径得到的和自顶向下路径得到的相同大小的特征图。自底向上的特征图具有较低层次的语义,但是它具有更精确定位的激活,因为它的下采样次数更少。    

    其实通过自底向上的方式抽取特征的这个过程,图像的语义在不断的增强,语义更加抽象也更加能够代表这张图片,但是分辨率在下降,特征图在变小。自顶向下的这个过程,是上采样的过程(可能利用反卷积或者其他的方式),自上而下的路径产生了更高分辨率的特征。(据大佬说,自上而下的过程并不会使语义下降。)

三、具体构造

     下图显示了构造自顶向下特征图的构建模块。首先,对于更粗分辨率的特征图,我们将其空间分辨率提高了2倍(简单地使用最近邻上采样)。然后,通过像素相加的方式将上采样的图和相应的自底向上的图(经过了一个1x1卷积层的处理,目的是降低通道维度)融合。迭代这个过程,直到生成最好分辨率的图。迭代开始时,我们简单地采用1x1卷积层处理C5得到最粗分辨率的特征图。最后,我们添加一个3×3卷积处理每个融合后的特征图生成最终的特征图,这是为了减少upsampling过程的混叠效应。最终的特征图集合被称为{P2,P3,P4,P5} ,对应于{C2,C3,C4,C5},它们分别具有相同的空间大小。融合的方式是像素直接相加。

    因为金字塔的所有层共享分类器/回归器,就像在传统的特征化图像金字塔中一样,我们固定所有特征图的特征维度(通道的数量,记为d)。我们在本文中设置d = 256,因此所有额外的卷积层(即横向连接中的1x1卷积)都有256个通道的输出。有没有引入非线性,影响很小。 简单性是核心,我们发现我们的模型对作为许多设计的选择都是鲁棒的。

四、应用

作者一方面将FPN放在RPN网络中用于生成proposal,原来的RPN网络是以主网络的某个卷积层输出的feature map作为输入,简单讲就是只用这一个尺度的feature map。但是现在要将FPN嵌在RPN网络中,生成不同尺度特征并融合作为RPN网络的输入。在每一个scale层,都定义了不同大小的anchor,对于P2,P3,P4,P5,P6这些层,定义anchor的大小为32^2,64^2,128^2,256^2,512^2,另外每个scale层都有3个长宽对比度:1:2,1:1,2:1。所以整个特征金字塔有15种anchor。(具体的生成方式应该还是滑动窗口)

正负样本的界定和Faster RCNN差不多:如果某个anchor和一个给定的ground truth有最高的IOU或者和任意一个Ground truth的IOU都大于0.7,则是正样本。如果一个anchor和任意一个ground truth的IOU都小于0.3,则为负样本。

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容