High-Performance Large-Scale Image Recognition Without Normalization
https://paperswithcode.com/paper/high-performance-large-scale-image#code
https://github.com/deepmind/deepmind-research/tree/master/nfnets 不知道是什么框架
https://github.com/rwightman/pytorch-image-models PyTorch
https://github.com/vballoli/nfnets-pytorch PyTorch
分批归一化是大多数图像分类模型的关键组成部分，但由于其依赖于分批大小和样本之间的相互作用，因而具有许多不理想的性质。尽管最近的工作已经成功地在没有标准化层的情况下训练了深层网络，但是这些模型与最佳批量标准化网络的测试精度不匹配，并且对于大的学习率或强的数据扩充常常是不稳定的。在这项工作中，我们发展了一种克服这些不稳定性的自适应梯度裁剪技术，并设计了一类显著改进的无规范化子的resnet。我们的小型模型与ImageNet上EfficientNet-B7的测试精度相匹配，同时训练速度提高了8.7倍，而我们最大的模型达到了86.5%的最新顶级精度。此外，在对3亿个标记图像的数据集进行大规模预训练后，在ImageNet上进行微调时，无规格化器模型的性能明显优于批量规格化模型，我们的最佳模型获得了89.2%的准确率
