ResNeXt

方法

image.png

提出来 cardinality 的概念,在上图左右有相同的参数个数,其中左边是 ResNet 的一个区块,右边的 ResNeXt 中每个分支一模一样,分支的个数就是 cardinality。此处借鉴了 GoogLeNet 的 split-transform-merge,和 VGG/ResNets 的 repeat layer
所谓 split-transform-merge 是指通过在大卷积核层两侧加入 1x1 的网络层,控制核个数,减少参数个数的方式。

split-transform-merge

repeat layer 则是指重复相同的几层,前提条件是这几层的输出输出具有相同的维度,一般在不同的 repeat layers 之间使用 strip=2 降维,同时核函数的个数乘 2。

ResNet与ResNeXt对比

以上图为例,中括号内就是 split-transform-merge,通过 cardinality(C) 的值控制 repeat layer。
output 在上下相邻的格子不断减半,中括号内的逗号后面卷积核的个数不断翻倍。

等价模式

图一右侧的模型有两个等价的模型,最右侧是 AlexNet 中提出的分组卷积,相同层的 width 分组卷积,最终作者使用的是下图最右边的模型,更加简洁并且训练更快。

图一.png

(c)是将卷积通道分成32组,可用nn.Conv2d中的groups这个参数自动为我们分组。

实验

image.png

结论

ResNeXt 与 ResNet 在相同参数个数情况下,训练时前者错误率更低,但下降速度差不多
相同参数情况下,增加 cardinality 比增加卷几个数更加有效
101 层的 ResNeXt 比 200 层的 ResNet 更好
几种 sota 的模型,ResNeXt 准确率最高

参考链接:
ResNeXt
ResNeXt算法详解
经典分类CNN模型系列其八:ResNeXt
ResNeXt的分类效果为什么比Resnet好?
ResNeXt、SENet、SE-ResNeXt论文代码学习与总结
ResNeXt 学习——ResNeXt50

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 介绍 越来越喜欢Facebook的东西了,虽然很久以来我一直是个Google产品及技术的忠实粉丝。但最近在AI框架...
    manofmountain阅读 33,269评论 2 15
  • 转载请注明出处:https://www.jianshu.com/p/328b29d20403 如果觉得有用,麻烦点...
    Jinglever阅读 2,169评论 0 4
  • 说起雨天,我想起一句歌词:最美的不是下雨天,是曾与你躲过雨的屋檐。 那个画面我从来没有遇到过,但是关于雨天的记...
    几分相似阅读 160评论 0 0
  • 如果人生是一盘棋,每一天就是一个棋盘上的格子,每一次的收获或失利就是棋盘上落定的黑白棋子。一天一天的积累,...
    二小姐的马阅读 685评论 6 12
  • 我给你百分之百的真诚,是想让你也如此待我,而不是嘲笑我是个傻瓜。 人总是这样,只能见的你的笑容而不能见你苦丧的脸,...
    悟_0949阅读 208评论 0 2