Faster R-CNN是在前人（Fast RCNN）的基础上接着改进生成region proposal的方法。改进的思路主要有RPN和anchor的提出。
- RPN， Region Proposal Network。RPN包括一个基本卷积模块（用于提取特征）和一个特有的卷积模块（用于特定的任务），最后输出的是框的置信度和位置信息。
- anchor box（锚框），在RPN中是对输入特征图进行滑窗处理，其实就是将特征图划分成多个grid，每个grid预测9种不同的值，代表着9个不同anchor box的相关信息。9个不同size的anchor box体现出模型的多尺度特征（多尺度的体现有3种，1种是输入图片的尺寸不同，1种是filter的尺寸不同，还有一种就是参考不同，这里anchor box的不同其实就是参考的不同。前2种多尺度设计都会导致模型不能共享前面的特征提取层，而第3种设计则能共享模型前面部分，从而减少模型的大小和计算量等）。
提出anchor box机制后，模型的输出就与anchor box相关，那么就需要利用ground truth对每个anchor box作相应的label，每个anchor box对应着一个置信度和4个box相对信息（大小和位置）。这里是用IOU值为标准来判断每个anchor box的置信度（有无object）：如果1）一个anchor box与某个ground truth的IOU值是所有anchor box与该ground truth的IOU值、2）一个anchor box与某个ground truth的IOU值大于0.7，则认为该anchor box的置信度是1（正样本）；如果一个anchor box与所有的ground truth的IOU值均小于0.3，则该anchor box的置信度是0（负样本）；IOU值在0.3和0.7之间的这部分anchor box不参与最终loss的计算。这跟YOLO有很大的不同，YOLO是一个ground truth只对应一个anchor box，判定标准是对应IOU值最大，而且所有anchor box都参与loss的计算。Faster RCNN在计算RPN的loss时会对正负anchor box进行采样，尽可能保证参与loss计算的正样本和负样本一样多（YOLO中由于对anchor box处理的不同，所以正负样本肯定是不均衡的，所以在loss中对正负样本设置了不同的权重）。RPN的loss函数如下：
第一部分就是置信度损失，
采用logloss形式。第二部分是box信息，
采用smooth L1 loss形式。可见RPN网络的任务就是判断每个anchor box是否含有object（粗分类，object有无）和box变化信息（大小和中心点的变化）。这里详细讲一下loss第二部分，
、
都是一维向量（box的中心点坐标x、y和宽高w、h），分别表示的是预测box与anchor box的相对差别和ground truth与anchor box的相对差别。
Faster RCNN的训练方式主要有3种，包括alternating training（交替训练）、approximate joint training（近似联合训练）和non-approximate joint training（非近似联合训练）。论文中详细讲述了4-step alternating training：
- 训练RPN的基本卷积模块1和特有卷积模块1；
- 训练Fast RCNN的基本卷积模块2和特有卷积模块2（其实也就是Faster RCNN的细分类模块），此时是用RPN的输出作为特有卷积模块2的region proposals；
- 将RPN和Fast RCNN合在一起，基本卷积模块采用Fast RCNN的基本卷积模块2的参数（RPN和Fast RCNN的基本卷积模块其实是一样的，只是分别训练了一套参数），固定基本卷积模块的参数，再次训练RPN的特有卷积模块1；
- 固定基本卷积模块和特有卷积模块1的参数，训练Fast RCNN的特有卷积模块2；
- 重复上述4步，直到模型达到一个比较好的效果。
在这个训练过程中，我们需要去掉和边缘相交的anchor box，也就是这部分anchor box不对loss做出贡献。而在测试阶段，则将模型预测出的超出边缘的box限制在图片中。4-step alternating training是Faster RCNN的主要训练方式，但是作者也提出了近似联合训练和非近似联合训练。
近似联合训练(approximate joint training)：直接将RPN和Fast RCNN融合成一个网络。此时region proposals是由中间的RPN层输出的。"approximate"体现在反向传播阶段RPN产生的置信误差能够获得梯度以更新参数，但是region proposals的坐标预测则直接把梯度舍弃了，也就是说box误差不参与loss的计算（这种方法的好处在于缩短训练时间）。
非近似联合训练(non-approximate joint training)：既然是“非近似”，那就是训练时不舍弃region proposals的坐标预测误差梯度。
看其他资料的补充：
查看endernewton的Faster RCNN实现源码，可以分为Conv layers、RPN、ROI Pooling和classification，其代码框架如下：
ROI Pooling实现细节：之所以要进行ROI Pooling是因为每个ROI的size是不同的，但是分类网络对输入的维度是定长的，所以需要利用ROI Pooling使得不同size的region变成一样的维度。具体降维方式如下图：
