YOLO （you only look once, 你只看一次），是一种目标检测算法。不管是在学术界还是工业界都是名声大噪。至2023年，YOLO算法的版本已经更新到了V8版本。本文粗略的介绍一下各类目标检测算法。
这是YOLOv3的GitHub链接：GitHub - ultralytics/yolov3: YOLOv3 in PyTorch > ONNX > CoreML > TFLite
我的其他笔记链接：
- 使用K-means算法寻找yolo的锚框 - 简书 (jianshu.com)
-
如何将图片和锚框一起resize——python代码实现 - 简书 (jianshu.com)
3.YOLO学习笔记——目标检测算法的简介（RCNN, SSD, YOLO) - 简书 (jianshu.com)
4.YOLOv3网络结构和基础知识学习笔记 - 简书 (jianshu.com) - 如何制作YOLOv3模型训练数据集？ - 简书 (jianshu.com)
- 如何训练YOLOv3模型？pytorch代码实现 - 简书 (jianshu.com)
- YOLOv3、YOLOv4、YOLOv5之间的区别 - 简书 (jianshu.com)
一、什么是yolo？
首先，我们得知道yolo做了一件什么事情？我们称之为目标检测。假设，我们将一张图片输入到神经网络中，我们希望神经网络帮我们找到图片中的狗狗，并计算出狗狗在图片中的位置。那么神经网络首先需要对图片进行分类，确定这幅图片中有狗狗，并且计算出一个矩形框的坐标，这个矩形框刚好把狗狗框住。如果图片中只有狗狗检测这一个任务，那就称之为单目标检测。如果一张图片中有多个类别需要识别，这便是多目标目标检测。
于是，我们可以借鉴人眼是怎么对物体进行识别的。我们通常时从上往下，从左往右去观察图像中的一个区域，去寻找匹配的物体。那么，我们最先想到的方法是滑动窗口，给图片设置一个窗口，每次仅观察图片中窗口大小的区域，进行目标检测和回归。将整个图片扫描一遍，预测每一个区域，最后将所有预测结果进行统计，就能够实现多目标识别啦。使用这类方法的算法就包括了：R-CNN、Fast R-CNN、Faster R-CNN、Mask R-CNN等
（1）R-CNN 算法
R-CNN算法的核心是，首先使用启发式搜索算法来选择锚框。使用与训练模型对锚框内的特征进行抽取。训练一个SVM来对类别分类。然后是训练一个线性回归模型来预测边缘框偏移。
这里有一个重要的问题是，图片中的物体大小是不确定的，物体出现的位置和数量也不能确定，所以说窗口的大小是不确定的。那就会导致模型的输出并不是固定的，那就出现了一个问题，怎么来组成一个形状一样的batch呢？这个模型使用的是兴趣区域（Rol）池化层。
兴趣区域池化层给图片，给定一个锚框（也就是窗口），并将锚框中的区域均匀的分割成n x m块，预测并输出每一块里面的概率值。由于将窗口进行了均匀分割，每隔部分负责检测一块区域，所以就能做到输出总是n*m个值。这样就能够做到在不同的区域检测。
然而，窗口的大小也不能够固定，因为物体的大小不固定，有可能会超出窗口的范围，所以R-CNN为了不漏检测物体，就会出现上万个锚框，来确保算法的准确度。
（2）Fast R-CNN算法
这是对R-CNN的一个改进，R-CNN在抽取特征的时候是对每一个锚框里面的内容进行特征提取，然而成千上万个锚框的检测将会花费大量的时间。Fast RCNN想要做到更快，于是它选择先使用CNN对图片抽取特征形成特征图（feature map）。然后再在特征图片上锚框预测，但是抽取特征的时候是按照锚框的比例在feature map上提取特征。然后再用兴趣区域（Rol）池化层生成固定长度的特征。然后就可以接入分类预测和边缘框预测了。
（3）Faster R-CNN算法
他觉得fast rcnn还是不够快，我能不能再快一些？那么改进的关注点放在了启发式搜索锚框算法。他们发现这个算法还是过于冗杂了，能不能使用神经网络来代替呢？锚框的选择算法变成了区域提议网络
我们从图中可以看出，他将CNN输出的feature map作为了区域提取网络（region proposal network）的输入，输出是一堆锚框。然后把锚框再通过另一个二分类的网络，目的是看看锚框选择是否合适，然后对合适的锚框进行边缘预测。然后去掉一些类似的锚框，这时锚框的选取就结束了。
然后和上面的网络一样，对图片锚框区域映射feature map。不同大小的feature map区域经过Rol之后，进入到图片类别预测和边界框预测。
（4）Mask R-CNN算法
无限套娃，他又在原来的基础上加了一个FCN。如果有像素级别的标号，那么我们需要对每个像素都要预测。因为使用了Rol的预测精度是比较模糊的。例如在图像分割上他的边界就会比较模糊。
Mask R-CNN是基于Faster R-CNN修改而来的。
具体来说，Mask R-CNN将兴趣区域汇聚层替换为了兴趣区域对齐层，使用双线性插值（bilinear interpolation）来保留特征图上的空间信息，从而更适于像素级预测。
兴趣区域对齐层的输出包含了所有与兴趣区域的形状相同的特征图。它们不仅被用于预测每个兴趣区域的类别和边界框，还通过额外的全卷积网络预测目标的像素级位置。
小结：
- R-CNN是最早的也是最有名的一类基于锚框和CNN的目标检测算法。
- Fast R-CNN、Faster R-CNN都有性能上的提升。
- Faster R-CNN和Mask R-CNN是在高精度场景下使用的算法。
上述算法都被称之为二阶段算法（two stage）。
这里输入一个小插曲：
什么是一阶段算法，什么是二阶段算法？
- 一阶段算法：模型直接做回归任务，输出目标的概率值和位置坐标。例如：SSD, YOLO， MTCNN等
- 二阶段算法：首先生成多个锚框，然后利用卷积神经网络输出概率值和位置坐标。例如：R-CNN系列
（5）单发多框检测（SSD，single shot detection）
生成锚框：就是上一篇“物体检测”中讲到的算法，对每一个像素，以他为中心生成一些锚框。相对RCNN系列比，生成锚框将会更高效。
我们先看他的主干，先通过一个基础网络来抽取特征，然后接下来多个多尺度特征块，其主要目的是会对特征图的高宽减半。类似于图像金字塔，但这是特征图金字塔。
然后每一个段都会生成一些锚框。底部段用于预测一些小物品，顶部的特征图用来预测大的物体。并且对每一个锚框都要预测类别和边缘框坐标。
SSD算法速度比RCNN更快但是比RCNN的精度低了很多。
小结：
- SSD通过单神经网络来进行目标检测（one stage）
- 以每个像素为中心产生多个锚框
- 在多个段的输出上进行多尺度的检测
（6）YOLO（只看一次）
SSD中的锚框方法有大量的重叠，因此浪费了大量的计算资源。YOLO将图片均匀的S X S个锚框。它是将图片像切蛋糕一样，平均的分成多个锚框。如图所示：
如果我们让每个框只能识别出一个物体，且要求这个物体必须在这个框之内，那YOLO就变成了很蠢的滑窗法了。
我们之前的做法是设置一个较大的窗口，并将物体放到窗口内。预测锚框内的物体出现的概率值，并求出锚框左上角和右下角的四个值。然而yolo改变了这一做法只要求这个物体的中心落在这个框框之中。
这意味着，我们不用设计非常非常大的框，因为我们只需要让物体的中心在这个框中就可以了，而不是必须要让整个物体都在这个框中。质询要让这个框每个都预测出B个bounding box，这个bounding box有5个量，分别是物体的中心位置(x,y)和它的高(h)和宽(w)，以及这次预测的置信度。
每个框框不仅只预测B个bounding box，它还要负责预测这个框框中的物体是什么类别的，这里的类别用one-hot编码表示。
在上面的例子中，图片被分成了49个框，每个框预测2个bounding box，因此上面的图中有98个bounding box。可以看到这些BOX中有的边框比较粗，有的比较细，这是置信度不同的表现，置信度高的比较粗，置信度低的比较细。
最后通过NMS就能够排除大部分的锚框，留下可能性最大的锚框，最终实现多目标识别。
这里就简单的介绍了各类目标检测算法及其特点，笔记中有许多不足之处，大家快帮我找一找吧！
下一篇笔记中会基于yolov3进行一个更详细的介绍。
