Abstract

特点：有一个多任务的loss，简化了学习过程，并且提高了效率。比传统的R-CNN和SPP-Net更加快，而且精度高。

1. Introduction

对目标的精确定位目前还存在两大挑战：

       第一：大量的候选区域需要被估计。为了精度定位，卷积层的特征需要共享之前他在原图像中的位置。然后这个方法限制了后向传播的误差，接着潜在的影响了精度。

       第二：候选对象位置需要是精练来达到高精度。传统的R-CNN和SPP-net以前的这个挑选候选区域过程在一个独立于的学习过程的。

本篇文章：提出了一个单一过程的学习过程。在学习过程中，同时找出那些候选区域并且能精炼他的空间位置。并且本文还提出一个新的方法:在学习过程来共享卷积特征,允许将全部的反向误差都传播回来，来增加精度。除此之外还用了截断SVD等等一些手段来增加精度并且加快速度。

1.1. RCNN and SPPnet

具体看前两篇。

1.2. Contributions

advantages

                                                                     code

2. Fast R-CNN training

model 结构

快速R-CNN网络将整个图像和一组object proposals作为输入。

       网络首先使用几个卷积（conv）和最大池层来处理整个图像，以产生conv feature map。

       然后，对于每个对象proposal，感兴趣区域（RoI）池层从特征图中抽取固定长度的特征向量。

       每个特征向量被馈送到完全连接（fc）层序列，其最终分支成两个同级输出层：

               一个产生对K个对象类加上全部捕获的“背景”类的softmax概率估计(one that produces           softmax probability estimates over K object classes plus a catch-all “background” class)

                 另一个对每个K对象类输出四个实数，每组4个值编码提炼定义K个类中的一个的的              边 界框位置。(another layer that outputs four real-valued numbers for each of the K                  object classes. Each set of 4 values encodes refined bounding-box positions for one of            the K classes.)

2.1. The RoI pooling layer

The region of interest (RoI) pooling layer是简化版的spatial pyramid pooling（SPP-net）.因为(RoI) pooling layer只有单一的尺度。

Rol pooling layer的作用主要有两个：

一个是将image中的RoI定位到feature map中对应patch

另一个是用一个单层的SPP layer将这个feature map patch下采样为大小固定的feature再传入全连接层。

RoI池层使用最大池化将任何有效的RoI区域内的特征转换成具有H×W（例如，7×7）的固定空间范围的小feature map，其中H和W是层超参数它们独立于任何特定的RoI。

在本文中，RoI是conv feature map中的一个矩形窗口。

每个RoI由定义其左上角（r，c）及其高度和宽度（h，w）的四元组（r，c，h，w）定义。

RoI层仅仅是Sppnets中的spatial pyramid pooling layer的特殊形式，其中只有一个金字塔层.

2.2. Using pretrained networks

之前始于训练截断我们训练了3个Image network.当提个预训练模型来初始化FRCN的时候，需要进行3个转变。

结构变了

1.最后一层最大池化层变成了RoI池化层，可以为全连接层产生固定大小的feature。

2.两个sibling层，同时实现不同的功能。

输入变了

3.a batch of N images 和a list of R RoIs.batch的大小和RoI的输出量是动态变化的

2.3. Finetuning for detection

limitation：在3层的softmax classifier 在检测的时候进行了微调。因为3层的softmax classifier接受固定长度的feature向量。它是来自spatial pyramid pooling。在此之前的网络结构卷积层工作方式是offline的。所以在微调阶段，反向传播不可能到达卷积层。换句话说在微调阶段：只有3层的classifier被更新了参数。

由于以上限制limitation的存在：在SPPnet中SGD采用的方式是，在众多的RoI候选区域（将所有图片的RoI区域放在一起）进行采样。所以每一个Minibatch里面的RoI可能是来自不同图片的。

为了消除这个限制limitation：本文采取的SGD策略是有等级的采样：先对输入图片进行采样，然后在已经采样得到的图片中采样得到RoI.这些来自同一个通篇的ROI对于计算和储存是很有效果的。

Multi-task loss.

LOSS合并

Mini-batch sampling.

Back-propagation through RoI pooling layers.

SGD hyper-parameters.

解析博客

2.4. Scale invariance

SPPnet用了两种实现尺度不变的方法：

1. brute force （single scale），直接将image设置为某种scale，直接输入网络训练，期望网络自己适应这个scale。

2. image pyramids （multi scale），生成一个图像金字塔，在multi-scale训练时，对于要用的RoI，在金字塔上找到一个最接近227x227的尺寸，然后用这个尺寸训练网络。

虽然看起来2比较好，但是非常耗时，而且性能提高也不对，大约只有%1，所以这篇论文在实现中还是用了1。

3. Fast R-CNN detection

输入分两种形式：

1.single-scale:单一尺度的图片和它的大约2000多张的候选图。

2.multi-scale：一张图片的金字塔和对应金字塔的候选区域。

3.1. Truncated SVD for faster detection

在分类中，计算全连接层比卷积层快，而在检测中由于一个图中要提取2000个RoI，所以大部分时间都用在计算全连接层了。文中采用奇异值分解的方法来减少计算fc层的时间。

SVD

矩阵知识