Fast R-CNN存在瓶颈：

SS（选择性搜索）导致要找出所有的候选框，这个过程非常耗时。

image.png

Faster R-CNN

可以简单看成是 区域生成网络 + Fast R-CNN

区域生成网络（RPN）

RPN

步骤

1、输入任意大小图片
2、图片首先会经过一个预训练过的卷积特征提取层来提取图片的特征，这里会输出图片的特征图feature map，用作下一阶段的输入
3、通过一个叫做Region Proposal Network(RPN)的网络，替代了SS，RPN可以帮我们找出可能包含物体的那些区域（仅仅是找出可能包含物体的区域，这里不区分物体的种类）

RPN通过使用固定大小的anchor（参考框）来解决这个可变长的问题，这些anchor将会均匀地放置在整个原始图像中（后面会详细展开解释）。不同于原来我们要检测物体在哪里，我们现在利用anchor将问题转换为另外两部分：
某个框内是否含有物体
某个框是否框的准，如果框的不准我们要如何调整框

4、通过RPN之后我们会获得一些可能含有物体的框，我们用这些框再结合第一部分原图片提取的特征图，使用RoI(Region of Interest)就可以将对应物体找出来并把他们的特征提取到新的张量里面进行分类
5、后续和fast-RCNN一样

image.png

faster r-cnn的训练

faster r-cnn的训练分为两部分，即两个网络的训练。
classification over classes 所有类别加1
regression bbox

效果对比

image.png

总结

image.png