参考：https://mp.weixin.qq.com/s/NvUs4-S6zJei6-bwXF-21A
作者本人解读：https://www.bilibili.com/video/BV1kz4y1Q7m8
代码地址： https://github.com/Megvii-Nanjing/BBN

1. 解决的问题

长尾分布：罕见的类别则数据较少。长尾分布在某种程度上可以视作比正态分布更广泛存在的一种自然分布，现实中主要表现在少量个体做出大量贡献（少量类别的样本数占据大量样本比例）

长尾分布

虽然深度学习模型可以很好的分类类别均匀的数据集，但是对于长尾分布效果不佳（数据驱动，尾部类数量少，头部类和尾部类的差距太大，尾部类倾向于被分为头部类）

现在解决长尾分布的办法主要是re-balancing

(1) Re-sampling：重采样，让训练集和测试集维持一致的分布

• Over-sampling：对尾部类的数据进行重复采样，过拟合问题
• Under-sampling：丢弃一些头部类的数据，整个数据量削减了很多
• 还有介于这两种方式之间的，既会舍弃头部类的数据又会重复尾部类的数据

(2) Re-weighting：直接在损失函数上对尾部类进行加权，从而让我们更关注尾部类的损失

re-weighting

其他方法

(1) Two-stage-finetunning
Stage1：直接在原来的未平衡的数据上进行训练
Stage2：使用一个很小的学习率使用re-balancing进行fine-tune
Meta learning/transfer learning
Metric learning

现在存在的缺点和不足：都是人为的去给予不同的数据不同的权重，要么增大某些样本对网络的影响，要么削弱

为什么two-stage比直接re-ba的效果好：第一个阶段每个样本对网络的贡献是一样的，第二阶段学到的特征更有泛化性？？
例如：长尾分布（100：99：1，2个类）和重采样后的分布（100: 50:50，重复49次），有效样本比例100-51，有效样本是指不重复的。用100个有效样本训练出的网络要比用51个样本训练出的网络的特征更有泛化性。

2. re-balancing这类策略work的机制在于提升了分类器的性能，但是在一定程度上损害特征的表示能力。

证明：

将网络分为特征提取器和分类器两个部分，学习的过程也分为表示学习(representation learning)和分类器学习（classifier learning)

• 第一个阶段使用交叉熵和re-b策略训练整个网络
• 第二阶段把特征提取器的参数固定，重新训练分类器

结果

当表征学习的方式固定，re-b方法可以合理的实现更低的错误率 ，这表明它们确实可以促进分类器学习
另一方面，通过固定分类器的学习方式，简单的交叉熵损失相比re-b反而可以取得更低的错误率，说明re一定程度上损害了表征学习

result

3. 兼顾特征学习和分类器学习，两个分支，一个分支尽可能的保留ce的特征表示能力，另一个分支提升tail类的分类性能

累积式学习策略：使用一个Adapter来控制两个分支在整个训练过程中的比重，使网络训练的前期更加关注特征的学习，在中后期过度到分类器的性能提升上

结构

• 传统学习的分支
  输入来自于一个普通的均匀采样器，原始的long-tail分布中进行数据的采样，进行特征表示的学习
• Re-balancing分支
  输入来自一个逆向采样器（reversed sampler)，采样概率与样本数量成反比，样本数量越少采样概率越大，进行分类器的学习，侧重点在tail类的学习上，提升tail类的识别性能
• 两个分支有一个共享权重的设计，一可减少参数量，二因为传统分支的特征表示能力更好，这样可以让re-balancing这一分支受益于传统学习的特征，更好的进行分类的学习
• Adapter：生成一个随epoch递减的α，这个对两个分支的特征进行加权，最后送入各自的分类器中，计算损失。让网络的前期更关注特征的学习，然后转到tail类的分类性能