论文阅读：Improving Convolutional Networks with Self-calibrated Convolutions

这周开始忙碌，有任务的暑假就不是假期，还是想做咸鱼快乐每一天呀！今天还是论文阅读记录，是来自最新cvpr2020里面的SCnet网络的介绍。

论文名称：
《Improving Convolutional Networks with Self-calibrated Convolutions》
论文地址：
http://mftp.mmcheng.net/Papers/20cvprSCNet.pdf
代码地址：
https://github.com/MCG-NKU/SCNet
论文阅读参考：https://blog.csdn.net/weixin_42096202/article/details/105876498
https://blog.csdn.net/baidu_32335419/article/details/106930914
本篇文章只记录个人阅读论文的笔记，具体翻译、代码等不展开，详细可见上述的链接.

Background

Recent advances on CNNs are mostly devoted to designing more complex architectures to enhance their representation learning capacity.
we consider improving the basic convolutional feature transformation process of CNNs without tuning the model architectures
CNN的最新进展主要致力于设计更复杂的体系结构，以增强其特征表示能力。而本文另辟蹊径，考虑在不调整模型架构的情况下改进CNN的基本卷积特征转换过程，进而增强输出特征的多样性（表达能力）。

Related Work
当前CNN网络的优化主要有两个方面：
1.Architecture Design(结构设计）：
Alext-VGG-GoogleNet-ResNet-DenseNet-ResNeXt-NasNet
2.Long-Range Dependency Modeling(长距离依赖建模（注意力机制）)：SENet-GENet-CBAM-GCNet-GALA-AA-NLNet

Work

Do?
we present a novel self-calibrated convolution that explicitly expands fields-of-view of each convolutional layer through internal communications and hence enriches the output features.
我们提出了一种自校正卷积（多个卷积注意力组合的模块），替换基本的卷积结构，在不增加额外参数和计算量的情况下，该卷积可以通过特征的内在通信达到扩增卷积感受野的目的，进而增强输出特征的多样性。相比于标准卷积，该卷积通过自校正操作自适应地在每个空间位置周围建立了远程空间和通道间依存关系，从而使得产生的特征图更具有区分度。
Advantages
As an augmented version of the standard convolution,our self-calibrated convolution offers two advantages.
作为标准卷积的一种增强版本，自校准卷积有两个优势:
1.First,it enables each spatial location to adaptively encode informative context from a long-range region, breaking the tradition of convolution operating within small regions
2.Second, the proposed self-calibrated convolution is generic and can be easily applied to standard convolutional layers without introducing any parameters and complexity over�head or changing the hyper -parameters.
1、首先，它使每个空间位置都能自适应地编码远距离区域的信息上下文，从而打破了在小区域（例如3x3）内进行卷积的传统。这使自校正卷积产生的特征表示更具辨识性。
2、其次，提出的自校正卷积是通用的，可以轻松应用于标准卷积层，而无需引入任何参数和复杂性开销或更改超参数。

在上图中，将ResNet生成的具有不同类型卷积的特征激活图可视化，可以看出，具有自校正卷积的ResNet可以更准确和整体地定位目标对象，并且采用SCNet的输出对前景有明显的分割。

Model
在介绍整个模型之前，先回顾一下以往的常规卷积操作。
假设输入特征为 $X=[x_1,x_2,…x_{ci}]$ 输出特征为 $Y=[y_1,y_2,…y_{co}]$ ,那么传统的2D卷积由一组滤波器集合 $K=[k_1,k_2,…k_{co}]$ 构成。此时常规卷积公式可以描述如下：

[注意：其中‘*’表示卷积，在这里，输入C X H X W ，在输出通道也为C的卷积中，卷积核K的维度为C X C X H X W。]
常规卷积的缺点：
1.这种卷积的卷积核学习模式都具有相似性。
2.卷积特征变换中每个空间位置的视野主要由预定义的内核大小控制，由此类卷积层的堆叠组成的网络也缺少大的感受野，无法捕获足够的高级语义。以上缺点都可能导致特征图的辨识度较低。

自校正卷积（Self-Calibrated Convolutions）

整个模型的具体结构如上图所示，先进行概述再分布展开
概述：
先考虑一种简单的情况,即输入通道数和输出通道数相当,即 $C=C'$ 。给定一组卷积核集K,形状为 $(C,C,k_h,k_w)$ ,其中 $k_h,k_w$ 对应卷积核的高和宽。首先将卷积核集平均分成4部分,每部分负责不同的作用。假设C可以被2整除,这样子得到四组卷积核,用 $[{K_i}]^4_{i=1}$ 表示,相应的每部分的形状为 $(C/2,C/2,k_h,k_w)$ .
有了四组卷积核后,我们平均的划分输入数据X为两部分x1,x2,之后分别送入一个特殊通路用于获取不同的上下文信息。在第一个通路上,我们使用了K2,K3,K4来对X1进行自校准操作,从而获得输出Y1。在第二个通路上,我们使用了一个简单的卷积操作: $Y_2=F_1(X_2)=X_2*K_1,$ 从而保有原始的空间信息。之后将中间输出结果Y1,Y2串联在一起,得到输出Y.

具体步骤：
第一，输入特征图X为C X H X W大小，拆分为两个C/2 X H X W大小的X1,X2;
第二，卷积核K的维度为C X C X H X W，将K分为4个部分，每份的作用各不相同，分别记为K1,K2,K3,K4，其维度均为C/2 X C/2 X H X W；

为了有效地收集每个空间位置的丰富的上下文信息，作者提出在两个不同的尺度空间中进行卷积特征转换：原始尺度空间中的特征图（输入共享相同的分辨率）和下采样后的具有较小分辨率的潜在空间（用于自校正）。利用下采样后特征具有较大的感受野，因此在较小的潜在空间中进行变换后的嵌入将用作参考，以指导原始特征空间中的特征变换过程。
第三，自校准尺度空间：
1.给定输入x1,我们使用滤波器尺寸为r×r步长为r（论文r=4）进行平均池化,公式如下:

2.对T1使用卷积核组K2进行特征变换:

其中,Up()表示线性插值操作也称为上采样操作,从而实现,中间参考量从小尺度空间到原始特征空间的映射。
此时,自校准操作可以表示为:

其中,F3(X1)=X1*K3,表示 sigmoid函数,以及符号”·“表示逐元素乘运算,X1被用作残差项,来建立权重,用于自校准。
自校准后的最终输出可以写作:

Advantages:
The advantages of the proposed self�calibration operation are three-fold.
1.与传统的卷积相比，通过采用校正操作允许每个空间位置不仅将其周围的信息环境自适应地视为来自低分辨率潜在空间的嵌入，以作为来自原始比例空间的响应中的输入，还可以对通道间依赖性进行建模。因此，可以有效地扩大具有自校准的卷积层的感受野。如下图所示，具有自校准功能的卷积层编码更大但更准确的区分区域。

2.其次，自校准操作不收集全局上下文，而仅考虑每个空间位置周围的上下文，从而在某种程度上避免了来自无关区域的某些无用信息。从下图的右两栏中可以看出，在可视化最终分数层时，具有自校准功能的卷积可以准确地定位目标物体。

3、自校准操作对多尺度信息进行编码，这是与目标检测相关的任务非常需要的。
总的来说，文中的self-Calibrated Convolutions就是一个多尺度特征提取模块。作者通过特征图下采样来增大CNN的感受野，每个空间位置都可以通过自校准操作融合来自两个不同空间尺度空间的信息。而且，Self-Calibrated Convolutions没有引入额外的可学习参数，但是其计算量还是会增大。

Experiment

1.比较ImageNet-1k数据集上使用不同分类框架的测试结果

实验中的训练过程参考ResNeXt文章中的训练,将SCNet引入其他backbone，无论ResNet、ResNeXt还是SE-ResNet均可得到一定程度的性能提升。

2.关于SCNet设计的消融实验

当下采样率为4，池化方式为均值池化时具有最佳性能。
3.在ImageNet上使用的基于注意力机制方法的比较

将其与其他注意力机制(CBAM、SENet、GALA、AA、GE等)方法进行了性能对比。其他注意力机制方法大多需要额外的可学习参数，而本文所提方法则无需额外可学习参数

4.在coco minival数据集上，与最优方法的比较

扩展实验：将所提方案拓展到目标检测、关键点检测、实例分割等应用领域，进一步验证了所提方案的性能，可以一致性的提升改善模型的性能。
(注：评价指标具体意义如下图所示）

https://blog.csdn.net/weixin_38145317/article/details/106405245?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase

Ending~