本文主要用于介绍大神Joseph Redmon于2016年提出的YOLO目标检测网络，该网络也开辟了深度学习用于目标检测的另一战场（不同于R-CNN系列）。本笔记主要为方便初学者快速入门，以及自我回顾。

论文链接：https://arxiv.org/pdf/1506.02640.pdf
源码地址：http://pjreddie.com/yolo/.
作者官方网站：https://pjreddie.com

基本目录如下：

1. 摘要
2. 核心思想
3. 总结

------------------第一菇 - 摘要------------------

1.1 论文摘要

本论文提出一种新的用于目标检测的算法，YOLO。之前的工作都是用分类器来实现检测的目的，而本文就是直接采用回归的办法来区分各种边界框，并附之分类的概率。YOLO只采用一个神经网络，在一次测试过程中，就对整图直接预测边界框和分类概率。因为整个检测的过程都是在一个单独的网络中完成的，后期在实现目标检测的时候就完全是端到端的（或者理解为：One-Stage）。

本文提出的整一套框架最大的特点就是快。我们的基础YOLO模型可以实时检测45 frames/秒，小一点的YOLO版本，可以在保证效果的同时，达到155 frames/秒。与现有的目标检测算法相比，YOLO在定位上的误差会更大一点，但是很少会错误预测背景为目标。并且，我们还发现YOLO更容易学会目标的整体表达，在迁移能力上，要好于DPM和Fast R-CNN。

------------------第二菇 - 核心思想------------------

2.1 基本概念梳理

在深入YOLO框架细节之前，我们先提前梳理一下文中出现的一些目标检测领域内的术语，方便后面理解。

2.1.1 IOU理解

在目标检测领域，我们需要对物体实现定位并识别，而IOU（Intersection Over Union）就是其中一种评价定位精度的指标。该指标定义了俩个边界框（bounding box）的重叠程度，如下图，

IOU示意图.jpg

结合上图，IOU的具体计算公式如下，

2.1.2 NMS理解

非极大值抑制（Non-Maximum Suppression, NMS），通俗说是抑制不是极大值的元素，也可以理解为局部最大搜索。在目标检测领域，经常会出现大量的候选框，这个时候，我们就需要用NMS的方法，来剔除那些无效/冗余的候选框。

整个算法的流程其实也很简单，可以总结如下，
1）将所有框的得分（confidence）排序，选中最高得分的框。
2）遍历其余的框，如果某个框和当前最高得分的框的IOU大于一定阈值，则将其删除。
3）从剩余的框中再选出得分最高的框，循环往复上述过程。

整体流程是真的很好理解，实现起来也很简单，只不过大神写的比较简洁漂亮，有兴趣的同学可以读这篇文章，里面有对代码的分析，本文不做展开。

2.2 YOLO架构详解

YOLO的架构相比起R-CNN系列真的要简洁很多，毕竟是One-Stage！这里直接上一张，论文中的架构描述图，我们来分步理解。

YOLO框架图.jpg

简单来说，总共就分为3步，
1）将输入图片缩放至
2）用一个卷积网络对缩放后的图提取特征
3）卡模型阈值，得到最终的检测结果

每一步都看似十分简单，但每一步又都暗含多个细节，接下来我们逐个剖析。

2.2.1 理解grid cell的作用

第一步中，系统还将图片均分成个网格（grid cell，文中为7），而这分出来的每一个网格，如果有目标的中心恰好落在网格中，该网格将承担起检测该目标的任务（如下图中的红色框）。（换一句话来理解就是，这些网格就相当于R-CNN系列中第一步提出的候选区域）

网格示意图.jpg

每一个网格都会预测个边界框（文中为2，一般一个横的，一个竖的），而对于每一个框来说，我们需要预测5个值，分别为和，其中，

• 是预测框的中心，相对于该grid的坐标
• 则是相对于整张图片的预测框的宽，高（0-1）

则为每一个边界框的分数（confidence score），该分数反映了2件事情，

1. 该框包含目标的概率
2. 该框定位预测的准确率

训练的时候，该分数的GT被定义为，

如果没有目标在该网格中，则分数为0；如果有目标在该网格中，则分数应该整合等于预测框与真实框的IOU。

除此以为，每一个网格（！！！是网格！！！）都还会预测类别的条件概率，这个概率反映了在给定有目标存在的情况下，该目标为某一个类别的概率（跟预测框无关）。

因此，在测试阶段，每一个框的分数计算公式为，

因此，总结一下，每一个网格的输出参数就是。这里再贴一张论文中的网格示意图，用于加深大家的理解，

模型网格示意图.jpg

因此总的预测参数，就是，。

2.2.2 YOLO网络架构及损失函数

整体的网络架构是由GoogLeNet衍生而来的，整个网络有24层卷积紧跟2个全卷积（用于分类和定位），有一点小的改进，YOLO网络没有使用inception modules，而是用1x1卷积层+3x3卷积层简单代替。上面也提到了网络的最终输出为7730，整体网络架构如下所示，

网络架构图.jpg

而论文中作者所用的损失函数正是传统的SSE（sum-squared error），然后整体的损失函数由3部分组成，如下，

损失函数解析.png

上图应该是把几个细节都标注出来了，有个符号说明一下，

• 表示该网格中是否含有目标
• 表示在网格中，第个预测框需要对预测负责

至此，整个网络架构算是讲述清晰了～

至于最后一步，利用NMS最终生成预测框的过程，这里就不展开阐述了，网上有一个很好的PPT，这里推荐大家去看，了解整个过程～其余的实验细节和结果展示，这边就不多说了，有兴趣的同学直接看原论文即可～

2.3 YOLO架构的优缺点

YOLO主要的缺点十分明显，因为一个网格只会预测2个框，1个类别，自然最终预测框的坐标误差会比较大，而且对于小/多目标更是无能为力，并且对目标框的大小也比较敏感～

当然，YOLO也有很强势的优点，Extremely Fast ！！！哈哈，另外其泛化能力据说更好？有待更多自己的实验了～

------------------第三菇 - 总结------------------

3.1 总结

到这里，整篇论文的核心思想已经说清楚了。本论文主要是提出了一种YOLO网络用于目标检测，其单阶段单模型的配置让其在时效性上具备了碾压性的优势，虽然其准确率与R-CNN系还有差距，但其在工业界仍有巨大的发挥空间，作者也在文中通过一系列实验证明其可行性，为后续发展奠定了基础。

简单总结一下本文就是先罗列了一下该论文的摘要，再具体介绍了一下本文作者的思路，也简单表述了一下，自己对YOLO网络架构的理解。希望大家读完本文后能进一步加深对该论文的理解。有说的不对的地方也请大家指出，多多交流，大家一起进步～😁