RepVGG: Making VGG-style ConvNets Great Again

原文链接:https://arxiv.org/pdf/2101.03697.pdf  发表:CVPR2021

code: https://github. com/megvii-model/RepVGG

编辑:牛涛

尽管resnet、inception这种多分支网络效果比较好,但是它的实际执行速度与内存利用反而不如VGG这种结构。FLop虽小但不能体现速度的优势。在现有框架下,3x3卷积核的速度比其他尺寸卷积核要快很多,如下表

对于内存占用,shortcut由于需要保存输入进行addition,内存空间需求会比较大,如下图

本文意在将VGG结构发扬光大,通过采用重参数化的方法。众所周知,BN层可以和卷积层融合,卷积核之间又存在可加性,因此采用下图的结构

先将卷积和BN融合,然后把1x1和identity都扩展为3x3,再根据中心的位置加在一起,输出与之前是完全相同的。

实验结果:

说实话没啥太有意义的。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容