YOLO v2的论文对loss的描述较少，因此许多细节值得我们深究。
首先，我们知道在YOLO v1中，对于训练图片中的ground truth，若其中心点落在某个cell内，那么该cell内对应的两个预测框负责预测它。然后训练时，图片经过网络产生两个预测框，我们只选择与ground truth的IOU值最大的预测框负责预测目标。所以我们的预测框只有两种——负责预测目标和不预测目标。
在YOLO v2中，有一些不同：
（1）对于训练图片中的ground truth，和v1一样若其中心点落在某个cell内，那么该cell内的5个先验框所对应的边界框负责预测它。和v1不同的是，因为v2有了5个不同的先验框，我们不再和网络输出的预测框计算IOU值，而是用先验框与ground truth计算IOU值，（计算IOU值时不考虑坐标，只考虑形状，所以先将先验框与ground truth的中心点都偏移到原点，然后计算出对应的IOU值），最大的先验框对应的预测框ground truth匹配，而剩余的4个先验框对应的预测框不与该ground truth匹配。
（2）然后应该明确哪些预测框需要计算损失，v1只有两种预测框，但是v2有三种。首先，对于网络输出的所有预测框，每个预测框都与各个ground truth计算IOU值，在这些IOU值中取最大值就是Max IOU。然后根据Max IOU和是否匹配ground truth可以把预测框分为三类并计算损失。
1.如果某一个预测框的Max IOU小于0.6(说明它预测背景)且不匹配ground truth, 则这个预测框计算置信度损失。
2.如果某一个预测框的Max IOU大于0.6，但是不和ground truth匹配，我们忽略其损失。
3.如果某一个预测框匹配ground truth。那么我们就要对这个预测框计算坐标、置信度和类别概率损失。
关于第二点，因为yolov2的一个ground truth只对应一个先验框,对于那些没有与ground truth匹配的先验框（与预测框对应），尽管Max_IOU高于阈值也要忽略，不计算任何误差。这点在yolov3论文中也有相关说明：yolov2中一个ground truth只会与一个先验框匹配（IOU值最好的），对于那些IOU值超过一定阈值的先验框，其预测结果就忽略了。
这里我的理解是：因为训练时网络输出13×13×5个预测框，但只有几个预测框需要预测，其他预测框都不进行预测，导致这些不预测物体的预测框的置信度损失偏大，即正负样本不均衡。所以，v2直接去掉那些预测结果较好（IOU>0.6）但不匹配ground truth的预测框，减少负样本。SSD论文中有提到这个问题，SSD的处理方法是，将一个ground truth分配给多个先验框，并把它们作为正样本。对于不匹配ground truth的预测框，作为负样本，然后将这些输出的预测框按置信度排序，根据一定比例（1:3）选取置信度高的预测框，有效地解决正负样本不平衡的问题。
（3）关于匹配ground truth的预测框的置信度误差。YOLO v2中有一个控制参数rescore，如果rescore取1，那么target取1，和yolo v1一样。如果rescore取0，target取预测框与ground truth的IOU值。
代码：
if rescore_confidence:
objects_loss = (object_scale * detectors_mask *K.square(best_ious - pred_confidence))
else:
objects_loss = (object_scale * detectors_mask * K.square(1 - pred_confidence))
具体公式
其他
1.在计算box的坐标误差时，YOLOv1中采用的是平方根以降低boxes的大小对误差的影响，而YOLOv2是直接计算，但是根据ground truth的大小对权重系数进行修正:coord_scale * (2-truth.w*truth.h)，这样对于尺度较小的box其权重会更大一些，起到和YOLOv1计算平方根相似的效果。
2.最后一项之前的公式的第二项对应，只在12800次迭代前加上，目的应该是为了使预测框快速学习到先验框的形状。
Reference：
https://blog.csdn.net/lwplwf/article/details/82895409
https://www.jianshu.com/p/032b1eecb335
https://zhuanlan.zhihu.com/p/35325884
