介绍

R-CNN系列目标检测模型发展到Faster-RCNN后，它的模型检测准确率（SOTA accuracy）已经达到了顶锋。直到目前为止尚没有一个目标检测模型在检测mAP大小上可以宣称能够在任一数据集上完胜它。大家开始从其它方面来对它进一步提高，比如在检测时间上面。

R-FCN模型同样提出于微软研究院的Sun,Jian团队（真是AI时代的弄潮儿啊）。它本质上任属于R-CNN系列的检测模型之一。它也是两阶段的检测网络，也需要先第一阶段训练得到RPN网络来提供下一阶段的ROIs，然后再进一步由ROIs与图片数据为输入，进一步地去训练检测阶段的网络。

之前Fast-RCNN/Faster-RCNN的模型会将ROI pool层加在网络的中间，使得在ROI pool之后的每个层（其中包含有卷积层）都只在ROI范畴上进行处理，而非像ROI pool之前的主干网络层那样在整个图片范畴上进行特征处理。R-FCN与此不同，它的整个网络都是在对整个图片进行处理，只是到了模型的最后，在生成的feature maps之上才加上了ROI pooling层，然后再分别作特定ROI的分类与定位的回归检测。如此以来，因为它不需要存在某些层只针对ROI窗口处理，所以整体上它的检测速率会更快。论文中作者实验证明在RPN平均生成2000个ROIs窗口时，R-FCN可比Faster-RCNN快20倍左右，同时能达到近似的检测mAP值。

R-FCN的基本结构

R-FCN模型同之前用于Semantic segmentation的FCN模型一样，整个模型当中并没有用到FC层，而是全部由convolution层构成。在模型的最后它生成出了一个特定的包含位置信息的score maps（这是本文最大的创新）。这个最后的scores maps共有k^2 * (C+1)个输出channels。其中C表示检测目标类别数目，k则表示最终ROI pool时所划分的空间节点数即ROI pool的kernel size。这样最终的scores maps中会含有C+1个类别的包含着位置信息的score值即每个具体的channel分别表示每个类所在特定网格区域的值大小。

文字不大好描述，还是看图吧。它的基本概念可于下图得见。

R-FCN用于目标检测的基本思想

从图上可以看出，整个R-FCN模型只有到了最后才加入了ROI pooling层，而此ROI pooling在对scores maps做pooling时是对每个类之上的k^2个score maps分别按照其区域进行pooling操作即每次每个区域位置只在对应的一个score map上进行pooling处理（这是它模型最难理解的地方，当然也是它的最大创新即score maps上具有区域位置信息之所以能够有效的原因）。

在下述表格中，作者对Faster-RCNN/R-CNN及R-FCN模型上ROI-wise处理的层数目做了比较，从理论上表明了R-FCN在做图片处理并最终进行目标检测时所可能具有的速率优势。

R-FCN与其它R-CNN模型在方法论上的比较

R-FCN详解

上面章节我们讲述了R-FCN模型所包含的最重大的创新。下面我们则分别讲下R-FCN的基本网络结构组成及其中特征ROI pooling单元的具体计算过程。

它的基本模型架构可见于下图。

R-FCN模型的基本框架

可以看出它本质上同其它R-CNN模型一样也是个需要训练出RPN网络的两阶段目标检测模型。另外在模型的最后它输出了一个包含k^2 * (C+1)个channels的score maps。我们需要在此最终的score maps上进行特殊的ROI pool处理。此处ROI pool的特殊性在于，一个ROI pool针对每个类之上的k^{2个channels一起处理，最终生成出一个类相关channel出来（具有着固定的空间大小即k}2）。而在此pooling处理当中，每个输出grid(i,j)的值都是在此k^2个channel中的某一个即第（i * j)个channel上来完成的，有些绕。。真是需要细加领悟，才能明白（想想，这个Pool是在k^2 channels wise上来进行的，而每个output(i,j) = ROI_pool(channel(i*j)[i,j]))。

然后R-FCN再对此ROI pool层输出的C+1个channels的score maps上进行一个普通的channel-wise的Pool处理（一般为average pool）。处理之后最终会得到一个包含C+1个值的特征相量。对此特征相量，我们可通过与已有的ground truth的图片label值相对比，得出其softmax classification loss来。

以上是类别检测的实现。对目标框位置信息的回归检测也是同样的。即在最终由主干网络吐出的feature maps之上，它像之前Fast-RCNN/Faster-RCNN那样有一个并行的分支，用来对ROI的位置信息进行回归检测。此位置检测分支先是会生成4 * K^2个score maps出来，然后同以上classification分支一样，对其做一个特殊的ROI pooling处理，再使用普通的average pool得到包含4个值的向量。接下来再通过与图片位置信息的ground truth结合，就可以算出反映位置信息的L1 loss出来。

虽然文章中还有些细节实现上的tricks，像减少前端主干特征提取网络的总步长以及使用Resnet101 base network的Conv4层，而非是减少了步长的Conv5层等；还有其在Conv5层的filter之上所用的hole算法处理等。但这些都是末节。。以上所讲才是它的主要概念。下面我们将分析下它这些基本概念的代码实现。

代码分析

R-FCN采用了多种基本CNN网络来提取特征。其中Resnet-101是最终效果最好的。它的100个中间层表示显然没啥好说的，跟论文所讲宏旨无关。我们只需要关注下R-FCN的输入数据层以及最终在主干网络生成的feature maps之上R-FCN是如何生成score maps以及后续如何做ROI pooling，然后又是如何分别使用这些ROI信息进行classification 与localization detection的就可以了。

首先是它的模型输入。这里我们假定已经有了train好的RPN网络所产生的ROIs了，它已是我们模型输入的一部分。此处会发现bbox_targets即反映检测框位置信息的值是8维度的，跟我们平时所以为的x,y,w,h四个值不同。那是因为R-CNN系列模型一直生成两种x,y,w,h的回归值出来，一组为背景(non-objectness)，一组则为实际目标(objectness)。

name: "ResNet-101"

input: "data"
input_dim: 1
input_dim: 3
input_dim: 224
input_dim: 224

input: "rois"
input_dim: 1 # to be changed on-the-fly to num ROIs
input_dim: 5 # [batch ind, x1, y1, x2, y2] zero-based indexing
input_dim: 1
input_dim: 1

input: "labels"
input_dim: 1 # to be changed on-the-fly to match num ROIs
input_dim: 1
input_dim: 1
input_dim: 1

input: "bbox_targets"
input_dim: 1  # to be changed on-the-fly to match num ROIs
input_dim: 8 # 4 * (K+1) (=2) classes
input_dim: 1
input_dim: 1

input: "bbox_loss_weights"
input_dim: 1  # to be changed on-the-fly to match num ROIs
input_dim: 8 # 4 * (K+1) (=2) classes
input_dim: 1
input_dim: 1

再向下，我们看下它的score maps生成。可以看出，我们对Resnet-101的输出先是加了新的一个Conv层来将feature maps的channels数由2048降到了1024。然后在其上分别对目标类别与位置生成了包含有k^2 * (C+1)及 k^2 * ( 4 * 2)个channels的score maps。在这里模型使用的是VOC数据集，因此C为21，k则为7（k亦可为其它值，比如在论文中作者还使用了3）。

#----------------------new conv layer------------------
layer {
    bottom: "res5c"
    top: "conv_new_1"
    name: "conv_new_1"
    type: "Convolution"
    convolution_param {
        num_output: 1024
        kernel_size: 1
        pad: 0
        weight_filler {
            type: "gaussian"
            std: 0.01
        }
        bias_filler {
            type: "constant"
            value: 0
        }
    }
    param {
        lr_mult: 1.0
    }
    param {
        lr_mult: 2.0
    }
}

layer {
    bottom: "conv_new_1"
    top: "conv_new_1"
    name: "conv_new_1_relu"
    type: "ReLU"
}

layer {
    bottom: "conv_new_1"
    top: "rfcn_cls"
    name: "rfcn_cls"
    type: "Convolution"
    convolution_param {
        num_output: 1029 #21*(7^2) cls_num*(score_maps_size^2)
        kernel_size: 1
        pad: 0
        weight_filler {
            type: "gaussian"
            std: 0.01
        }
        bias_filler {
            type: "constant"
            value: 0
        }
    }
    param {
        lr_mult: 1.0
    }
    param {
        lr_mult: 2.0
    }
}
layer {
    bottom: "conv_new_1"
    top: "rfcn_bbox"
    name: "rfcn_bbox"
    type: "Convolution"
    convolution_param {
        num_output: 392 #8*(7^2) cls_num*(score_maps_size^2)
        kernel_size: 1
        pad: 0
        weight_filler {
            type: "gaussian"
            std: 0.01
        }
        bias_filler {
            type: "constant"
            value: 0
        }
    }
    param {
        lr_mult: 1.0
    }
    param {
        lr_mult: 2.0
    }
}

按下来则是它的特殊ROI pooling的实现。此ROI pooling在类别检测分支上将k^2 *( C+ 1)个包含特定位置信息的输入channels 聚合为C + 1个output channels；同时亦在区域检测分支上将k^2 * 8个包含位置信息的input channels聚合为8个output channels。

#--------------position sensitive RoI pooling--------------
layer {
    bottom: "rfcn_cls"
    bottom: "rois"
    top: "psroipooled_cls_rois"
    name: "psroipooled_cls_rois"
    type: "PSROIPooling"
    psroi_pooling_param {
        spatial_scale: 0.0625
        output_dim: 21
        group_size: 7
    }
}

layer {
    bottom: "psroipooled_cls_rois"
    top: "cls_score"
    name: "ave_cls_score_rois"
    type: "Pooling"
    pooling_param {
        pool: AVE
        kernel_size: 7
        stride: 7
    }
}


layer {
    bottom: "rfcn_bbox"
    bottom: "rois"
    top: "psroipooled_loc_rois"
    name: "psroipooled_loc_rois"
    type: "PSROIPooling"
    psroi_pooling_param {
        spatial_scale: 0.0625
        output_dim: 8
        group_size: 7
    }
}

layer {
    bottom: "psroipooled_loc_rois"
    top: "bbox_pred"
    name: "ave_bbox_pred_rois"
    type: "Pooling"
    pooling_param {
        pool: AVE
        kernel_size: 7
        stride: 7
    }
}

最终我们就得到了模型的输出即它在训练时所采用的loss值及反映检测模型效果的mAP值。

#-----------------------output------------------------
layer {
   name: "loss"
   type: "SoftmaxWithLoss"
   bottom: "cls_score"
   bottom: "labels"
   top: "loss_cls"
   loss_weight: 1
   propagate_down: true
   propagate_down: false
}

layer {
   name: "accuarcy"
   type: "Accuracy"
   bottom: "cls_score"
   bottom: "labels"
   top: "accuarcy"
   #include: { phase: TEST }
   propagate_down: false
   propagate_down: false
}

layer {
   name: "loss_bbox"
   type: "SmoothL1Loss"
   bottom: "bbox_pred"
   bottom: "bbox_targets"
   bottom: "bbox_loss_weights"
   top: "loss_bbox"
   loss_weight: 1
   propagate_down: true
   propagate_down: false
   propagate_down: false
}

参考文献

• R-FCN: Object Detection via Region-based Fully Convolutional Networks, Jifeng-Dai, 2016
• https://github.com/daijifeng001/r-fcn