全卷积神经网络（FCN）
AlexNet网络在全卷积网络之后，把[7x7x512]的特征图展开成一维向量，在其后接上全连接层。FCN是直接用4096个[7x7]滤波器对[7x7x512]特征图进行卷积操作，输出[1x1x4096]；对[1x1x4096]的特征图接上4096个[1x1]滤波器，输出[1x1x4096]个特征图，在接上1000个[1x1]滤波器就可以进行1000分类推断。原理如下图所示：
OverFeat
1.介绍
对于特定图片的图片，物体一般会在图片中间，在进行滑窗检测时物体的尺寸和位置会不一样。这里有三种方法解决这种问题：
1． 在不同的位置和不同缩放比例上应用卷积网络，这种方法对在物体定位检测有些不合适
2． 利用神经网络输出物体类别的分布，输出物体位置和bound ing box 尺寸（三个输出）。
3． 对每个位置和尺寸对应的类别产生一个置信度
关于图像识别的三个任务：
分类：给定一张图片，指明图片中主要的物体的类别，程序输出前k个类别，
定位：给一张图片，指明程序需要推测出物体的位置
检测：对于一张图片，推测出图片中有那些物体，物体的位置，物体的类别
2.文中提出offset max-pooling：
不同于普通的池化，layer 5在 pooling 之前给定 x，y 一个偏移，,即对每个 feature map 滑窗从(0,0), (0,1), (0,2), (1,0), (1,1)...处分别开始滑动，得到9种不同的feature map，那么下一层的 feature map 总数为9*前一层的 num_output。
给定一张框定的图片，已知这张图片有某种可分类物体，但是由于框给的不是很合适，没有alignment，和训练的时候有差异，所以取不同scale图片进行检测，得到结果。对于CNN，使用不同scale需要放缩图片，由于最后的FC层的输入大小是固定的（比如5x5），所以不同scale输入经过pool5之后的 'feature map' 大小不一，此时取所有可能5x5作为输入得到特征向量。
3.定位
定位问题的模型也是一个CNN，1-5层作为特征提取层和分类问题完全一样，后面接两个全连接层，组成 regressor network 。训练时，前面5层的参数由CNN 给定，只需要训练后面的两个全连接层。这个 regressor network 的输出就是一个 bounding box ，也就是说，如果将一幅图像或者一个图像块送到这个 regressor network中，那么，这个 regressor network 输出一个相对于这个图像或者图像块的区域，这个区域中包含感兴趣的物体。这个 regressor network 的最后一层是class specific的，也就是说，对于每一个class，都需要训练单独最后一层。这样，假设类别数有1000，则这个 regressor network 输出1000个 bounding box ，每一个 bounding box 对应一类。
对于定位问题，测试时，在每一个尺度上同时运行 classification network 和 regressor network 。这样，对于每一个尺度来说， classification network 给出了图像块的类别的概率分布，regressor network 进一步为每一类给出了一个 bounding box，这样，对于每一个 bounding box，就有一个置信度与之对应。最后，综合这些信息，给出定位结果。
4．结合预测
a）在6个缩放比例上运行分类网络，在每个比例上选取top-k个类别，就是给每个图片进行类别标定Cs
b）在每个比例上运行预测boundingbox网络，产生每个类别对应的bounding box集合Bs
c）各个比例的Bs到放到一个大集合B
d）融合bounding box。具体过程应该是选取两个bounding box b1，b2；计算b1和b2的匹配分式，如果匹配分数大于一个阈值，就结束，如果小于阈值就在B中删除b1，b2，然后把b1和b2的融合放入B中，在进行循环计算。
R-CNN：
R-CNN使用Selective search for object recognition区域推荐算法选择2000个推荐区域，由于模型输入是固定227x227的图片，所以需要把推荐区域resize到227x227。到这里2000均是227x227大小的图片。再把推荐区域输入到CNN网络，得到图片的特征图。特征图会输入到俩个地方，一个是SVM的物体分类器，另一个是关于物体的区域回归的线性回归模型，在给定一个选择区域的pool5特征时去预测一个新的检测窗口。
SPP-Net：
为了解决CNN输入必须是固定尺寸的问题，在CNN网络的最后一层加上一个金字塔池化层，CNN网络就可以输入任意大小的图片了，而且输出也是固定尺寸的特征图。关于SPP-Net的目标检测，SPP-Net的目标检测是在区域选择出2000k个候选区之后，把原始的图片输入到CNN网络中得到图片的特征图，记住是把原始图片输入CNN模型，不是候选区域。
在SPP-Net还没出来之前，物体检测效果最牛逼的应该是RCNN算法了，下面跟大家简单讲一下R-CNN的总算法流程，简单回顾一下：
1、首先通过选择性搜索，对待检测的图片进行搜索出2000个候选窗口。
2、把这2k个候选窗口的图片都缩放到227*227，然后分别输入CNN中，每个候选窗台提取出一个特征向量，也就是说利用CNN进行提取特征向量。
3、把上面每个候选窗口的对应特征向量，利用SVM算法进行分类识别。 可以看到R-CNN计算量肯定很大，因为2k个候选窗口都要输入到CNN中，分别进行特征提取，计算量肯定不是一般的大。 接着回归正题，如何利用SPP-Net进行物体检测识别？具体算法的大体流程如下：
1.首先通过选择性搜索，对待检测的图片进行搜索出2000个候选窗口。这一步和R-CNN一样。
2.特征提取阶段。这一步就是和R-CNN最大的区别了，同样是用卷积神经网络进行特征提取，但是SPP-Net用的是金字塔池化。这一步骤的具体操作如下：把整张待检测的图片，输入CNN中，进行一次性特征提取，得到feature maps，然后在feature maps中找到各个候选框的区域，再对各个候选框采用金字塔空间池化，提取出固定长度的特征向量。而R-CNN输入的是每个候选框，然后在进入CNN，因为SPP-Net只需要一次对整张图片进行特征提取，速度是大大地快啊。江湖传说可一个提高100倍的速度，因为R-CNN就相当于遍历一个CNN两千次，而SPP-Net只需要遍历1次。
3.最后一步也是和R-CNN一样，采用SVM算法进行特征向量分类识别。
4.怎么计算候选区域在特征图的位置：
假设(x’,y’)表示特征图上的坐标点，坐标点(x,y)表示原输入图片上的点，那么它们之间有如下转换关系：
(x,y)=(S x (x)’,S x (y)’)
其中S的就是CNN中所有的strides的乘积。比如paper所用的ZF-5：
S=2x2x2x2=16
而对于Overfeat-5/7就是S=12，其中S为CNN中所有卷积和池化的strides值的乘积，如下图个网络，Overfeat-5/7对应的S=2x3x2=12
需要注意的是Strides包含了池化、卷积的stride。自己计算一下Overfeat-5/7(前5层)是不是等于16。反过来，我们希望通过(x,y)坐标求解(x’,y’)，那么计算公式如下：
输入原图片检测到的windows，可以得到每个矩形候选框的四个角点，然后我们再根据公式：
Fast RCNN：
-
提出ROI Pooling层，ROI Pooling的作用是对大小不同的推荐区域进行resize，从ROI Pooling输出的特征图是大小固定的特征图。这个可以看成SPPNet的简化版。怎么找到是利用SPPNet的原理。如下图所示：
image.png - Fast RCNN是对整张图进行CNN操作，减少了很多的重复计算，在卷积层的最后一个特征图上，使用ROIPooling操作，也就是对于给定的推荐区域坐标，在特征图上找到其位置，并把推荐区域缩放到固定尺寸。模型的分类和回归的是一起训练的，使用softmax代替SVM。
Faster RCNN:
由于Fast RCNN的区域推荐消耗大量时间，在Faster RCNN中直接训练一个网路进行区域选择，这个网路就是RPN网络，这个网络是在CNN模型的最后一层进行滑动，给ROI Pooling推荐在最后一张特征图的感兴趣区域坐标。
模型如下图所示，第一个模块是提议区域的深度全卷积网络，第二个模块是使用提议区域的Fast R-CNN检测器[2]。整个系统是一个单个的，统一的目标检测网络（图2）。使用最近流行的“注意力”[31]机制的神经网络术语，RPN模块告诉Fast R-CNN模块在哪里寻找。
在每个滑动窗口位置，RPNq网络同时预测多个区域提议，其中每个位置可能提议的最大数目表示为kk。因此，reg层具有4k4k个输出，编码kk个边界框的坐标，cls层输出2k2k个分数，估计每个提议是目标或不是目标的概率。相对于我们称之为锚点的kk个参考边界框，kk个提议是参数化的。锚点位于所讨论的滑动窗口的中心，并与一个尺度和长宽比相关（图3左）。默认情况下，我们使用3个尺度和3个长宽比，在每个滑动位置产生k=9k=9个锚点。对于大小为W×H（通常约为2400）的卷积特征映射，总共有WHk个锚点。
损失函数：
其中，ii是一个小批量数据中锚点的索引，pipi是锚点ii作为目标的预测概率。如果锚点为正，真实标签p∗ipi∗为1，如果锚点为负，则为0。titi是表示预测边界框4个参数化坐标的向量，而t∗iti∗是与正锚点相关的真实边界框的向量。分类损失LclsLcls是两个类别上（目标或不是目标）的对数损失。对于回归损失，我们使用Lreg(ti,t∗i)=R(ti−t∗i)Lreg(ti,ti∗)=R(ti−ti∗)，其中RR是在[2]中定义的鲁棒损失函数（平滑L1L1）。项p∗iLregpi∗Lreg表示回归损失仅对于正锚点激活，否则被禁用（p∗i=0pi∗=0）。cls和reg层的输出分别由pipi和titi组成。
其中，xx，yy，ww和hh表示边界框的中心坐标及其宽和高。变量xx，xaxa和x∗x∗分别表示预测边界框，锚盒和实际边界框（类似于y,w,hy,w,h）。这可以被认为是从锚盒到邻近的实际边界框的回归。
3.联合训练四步训练法：
1） 单独训练RPN网络，网络参数由预训练模型载入；
2） 单独训练Fast-RCNN网络，将第一步RPN的输出候选区域作为检测网络的输入。具体而言，RPN输出一个候选框，通过候选框截取原图像，并将截取后的图像通过几次conv-pool，然后再通过roi-pooling和fc再输出两条支路，一条是目标分类softmax，另一条是bbox回归。截止到现在，两个网络并没有共享参数，只是分开训练了；
3） 再次训练RPN，此时固定网络公共部分的参数，只更新RPN独有部分的参数；
4） 那RPN的结果再次微调Fast-RCNN网络，固定网络公共部分的参数，只更新Fast-RCNN独有部分的参数。
YOLO论文：
YOLO是把输入图片分成SxS的网格。如果一个目标中心落入一个网络单元中，该网络单元负责该目标，也就是说一个网格只能检测出一个物体。同时每个网格会预测B个边框，每个边框对应一个坐标，每个网络会对应一个20类物体的分布。5个预测坐标：x，y，w，h。（x，y）坐标表示边界框相对于边界的中心，C个条件类别。YOLO的数字S=7,B=2。则对于一张图片的输出7x7x30的张量。
系统将检测建模为回归问题。它将图像分成S×S的网格，并且每个网格单元预测B个边界框，这些边界框的置信度以及C个类别概率。这些预测被编码为S×S×(B∗5+C)的张量。
损失函数：
其中1obji表示目标是否出现在网格单元i中，1objij表示网格单元i中的第j个边界框预测器“负责”该预测。注意，如果目标存在于该网格单元中（前面讨论的条件类别概率），则损失函数仅惩罚分类错误。如果预测器“负责”实际边界框（即该网格单元中具有最高IOU的预测器），则它也仅惩罚边界框坐标错误。
下面类容是：博主【冠军的试炼】关于# 基于深度学习的目标检测技术演进：R-CNN、Fast R-CNN、Faster R-CNN这篇博客总结都比较到位，比我的好太多了。
