原文链接:https://arxiv.org/pdf/2101.03697.pdf 发表:CVPR2021
code: https://github. com/megvii-model/RepVGG
编辑:牛涛
尽管resnet、inception这种多分支网络效果比较好,但是它的实际执行速度与内存利用反而不如VGG这种结构。FLop虽小但不能体现速度的优势。在现有框架下,3x3卷积核的速度比其他尺寸卷积核要快很多,如下表
对于内存占用,shortcut由于需要保存输入进行addition,内存空间需求会比较大,如下图
本文意在将VGG结构发扬光大,通过采用重参数化的方法。众所周知,BN层可以和卷积层融合,卷积核之间又存在可加性,因此采用下图的结构
先将卷积和BN融合,然后把1x1和identity都扩展为3x3,再根据中心的位置加在一起,输出与之前是完全相同的。
实验结果:
说实话没啥太有意义的。