focal loss来源于论文《Focal loss for dense object detection》, Retinanet目标检测也在该文中提出。
1、FL（focal loss）主要解决目标检测中容易分类样本过多，导致累计loss偏大，FL通过给交叉商loss增加调节因子，使得容易分类的样本对总loss的贡献大大减小，而对错分的样本的loss影响不大或接近CE损失。
2、FL的由来经过以下三步
（1）一般的CE
正确分类的样本 loss = -log(pt)
Sigmoid损失，不管正样本还是负样本，只要分对，损失都是这个式子。
（2）加权CE
-at*log(pt)
解决不均衡样本问题。
样本少at大，增大对loss贡献量;
样本多at小，减少对loss贡献量。
（3）可调节因子CE（Focal loss）
pt大于0.5的easy examples的loss减小，累积loss减小。
pt小于0.5的错分样本loss与CELoss接近，不受影响。
3、实验表明sigmoid和FL一起实现的loss层有更好的数值稳定性
4、两阶段检测器解决类别类别不均衡的思想
（1）两阶段级联
提出大量候选框，不是随机选的，而是更接近正样本（目标）的候选框，这样就排除了更多easy examples
（2）有偏置的minibatch采样
通过采样使得正负样本更均衡，比如正负样本比例1：3，通过采样均衡后，easy样本对loss的贡献就会变小，这种方法从数学上与focal loss一样。focal loss直接用于单阶段检测器。
5、OHEM解决类别不均衡
《Training region-based object detector with online hard example mining》提出该方法，目的是为了提升双阶段检测器的训练。
方法：训练时利用高损失样本构造minibatch
步骤：
（1）每个样本用其loss评分
（2）应用NMS过滤
（3）利用最高loss的样本构造minibatch
可调参数：nms阈值、batchsize
特点：更强调错分样本，完全丢弃易分样本
实验表明：FL比OHEM更优
