网络学习系列(六)ResNeXt

要解决的问题:

目前来说,提高网络的性能,要不就是增加网络的深度,要不就是增加网络的宽度,但这样做无疑会增加网络设计的难度与计算的开销,所以,能否设计一种网络结构,在不增加网络复杂度的基础上还能提高网络的性能,这就是ResNeXt网络所要解决的问题。

相关信息:

1、VGG跟ResNet都采用了一种堆叠的思想,即相同拓扑结构的块都堆在一起,其设计原则主要有两个:1)如果生成的spatial maps尺寸相同,则blocks的超参数相同(即具有相同的滤波器数目和大小)2)如果spatial maps下采样一半,则blocks宽度增加一倍,以保证相同的计算复杂度。

个人理解其实第一个原则就是将相同卷积核大小跟数目的卷积层堆在一起,第二个原则则是如果上一步操作将空间图尺寸减半,则这一步应该将卷积核的数目加倍。

2、Inception网络使用了一种split-transform-merge思想,即先将输入切分到不同的低维度中,然后做一个特征映射,最后将结果融合到一起。但模型的泛化性不好,针对不同的任务需要设计的东西太多。

网络设计:

1、split-transform-merge思想如下所示:

即先将x进行降维,然后做一个映射聚合,即{\cal F}(x) = \sum\limits_{i = 1}^C {{{\cal T}_i}(x)} ,论文中加了残差结构,变为y = x + \sum\limits_{i = 1}^C {{{\cal T}_i}(x)} ,这也是论文所设计的模块,如图示所示:

这里作者提出了一个基数的维度,是独立于深度、宽度的另一个影响网络性能的参数,指的是除了short -cut之外支路的数量,作者实验证明,增加基数可以比增加深度与宽度的效果要好。

2、下面是上图的等价模式:

考虑性能,作者选择了第三种模块,使用了分组卷积的操作,1中的C指的就是分组卷积的组数。

总结:个人认为,resnext其实就是结合resnet与inception的优点。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 这个城市很大,无论白天黑夜,依然车水马龙,依然灯红酒绿,很是喧嚣。 多少异乡人,终其一生,为扎根这里,也付出了一生...
    音柱阅读 2,662评论 0 1
  • 你觉得你自己只是有一个狗主人,他却觉得你是上天派来的天使。
    哈哈哈哈水洗面膜和阅读 1,449评论 0 0
  • 和2两岁两个月的儿子一起画画,我用红蜡笔画西瓜瓤,黑蜡笔画西瓜籽,绿蜡笔画西瓜皮,画好了一块儿西瓜。 儿子也在纸上...
    乔迟语阅读 3,641评论 0 3
  • 肉肉,男,现在11个月大 我說,「不要害怕,你媽媽來找我和你溝通。」 他哭個不停,哭得很慘。 我問,「你可以告訴我...
    古茜妲樹二阅读 793评论 0 0
  • 认真地,我仔细回忆了一下,我是看到别人写作变现了,写作既可以做兼职挣稿费,还可以签约做全职作者,觉得自己的语文水平...
    吾名大霞阅读 22,915评论 413 305