注意力机制是源于nlp，在这篇论文中主要使用的是squeeze and excitation（压缩和激活）模块。
优点：可以学习使用全局信息来选择性地强调信息特征和抑制无用的特征。
se结构简单，轻量化，可以直接放在最先进的框架中，而且计算简单，只是稍微增加了计算的复杂度。
自动学习，而不是手工设计。
0.基础知识
0.1 Feedforword 结构
Feedforword 结构中主要起作用的是激活函数，通过激活函数增加模型的非线性学习能力；一般网络都是一个线性学习套一个激活函数增加它的学习能力，但self-attention里没有进行任何非线性学习，所以会在self-attention后增加feedforward层提高非线性学习能力
transfomer中的Feedforword 结构一般为两层，经过两层Feedforword 结构数据维度不会改变，是一个先升维再降维的过程
1.压缩SQUEEZE
首先是 Squeeze 操作，我们顺着空间维度来进行特征压缩，将每个二维的特征通道变成一个实数，这个实数某种程度上具有全局的感受野，并且输出的维度和输入的特征通道数相匹配。它表征着在特征通道上响应的全局分布，而且使得靠近输入的层也可以获得全局的感受野，这一点在很多任务中都是非常有用的。使用全局均值池化：就是把一个通道上所有的数加起来然后除以元素个数
#和论文中表述的一样，很简洁，就是全局池化、线性层降维、relu、升维、在sigmoid
class SELayer(nn.Module):
def __init__(self, channel, reduction=16):
super(SELayer, self).__init__()
self.avg_pool = nn.AdaptiveAvgPool2d(1)#全局均值池化
self.fc = nn.Sequential(
nn.Linear(channel, channel // reduction, bias=False),#//整除
nn.ReLU(inplace=True),#
nn.Linear(channel // reduction, channel, bias=False),
nn.Sigmoid()
)
def forward(self, x):
b, c, _, _ = x.size()
y = self.avg_pool(x).view(b, c)
y = self.fc(y).view(b, c, 1, 1)
return x * y.expand_as(x)#y.expand_as(x)是要y扩展到和x一样维度，之后再乘以x，就是给每个特征值加上通道注意力的权重
class SEBasicBlock(nn.Module):
expansion = 1
def __init__(self, inplanes, planes, stride=1, downsample=None, groups=1,
base_width=64, dilation=1, norm_layer=None,
*, reduction=16):
#plane就是通道数，reduction是经验值，给固定了
super(SEBasicBlock, self).__init__()
self.conv1 = conv3x3(inplanes, planes, stride)
self.bn1 = nn.BatchNorm2d(planes)
self.relu = nn.ReLU(inplace=True)
self.conv2 = conv3x3(planes, planes, 1)
self.bn2 = nn.BatchNorm2d(planes)
self.se = SELayer(planes, reduction)#很简单就插入了，轻量化模组
self.downsample = downsample
self.stride = stride
def forward(self, x):
residual = x#先保存一个输入
out = self.conv1(x)
out = self.bn1(out)
out = self.relu(out)
out = self.conv2(out)
out = self.bn2(out)
out = self.se(out)#给加完权了
if self.downsample is not None:
residual = self.downsample(x)
out += residual
out = self.relu(out)
return out
class SEBottleneck(nn.Module):
expansion = 4
def __init__(self, inplanes, planes, stride=1, downsample=None, groups=1,
base_width=64, dilation=1, norm_layer=None,
*, reduction=16):
super(SEBottleneck, self).__init__()
self.conv1 = nn.Conv2d(inplanes, planes, kernel_size=1, bias=False)
self.bn1 = nn.BatchNorm2d(planes)
self.conv2 = nn.Conv2d(planes, planes, kernel_size=3, stride=stride,
padding=1, bias=False)
self.bn2 = nn.BatchNorm2d(planes)
self.conv3 = nn.Conv2d(planes, planes * 4, kernel_size=1, bias=False)
self.bn3 = nn.BatchNorm2d(planes * 4)
self.relu = nn.ReLU(inplace=True)
self.se = SELayer(planes * 4, reduction)
self.downsample = downsample
self.stride = stride
def forward(self, x):
residual = x
out = self.conv1(x)
out = self.bn1(out)
out = self.relu(out)
out = self.conv2(out)
out = self.bn2(out)
out = self.relu(out)
out = self.conv3(out)
out = self.bn3(out)
out = self.se(out)
if self.downsample is not None:
residual = self.downsample(x)
out += residual
out = self.relu(out)
return out
2.激活EXCITATION
为了限制模型复杂度和辅助泛化，论文通过引入两个全连接（FC）层（都是1
*1的conv层），即降维层参数为W1，降维比例为r（论文把它设置为16），然后经过一个ReLU，然后是一个参数为W2的升维层，再sigmoid一下。最后得到1*1*C的实数数列结合U（原始feature map）。通过参数 w 来为每个特征通道生成权重，其中参数 w 被学习用来显式地建模特征通道间的相关性。
最后是一个 Reweight 的操作，我们将 Excitation 的输出的权重看做是进过特征选择后的每个特征通道的权重，然后通过乘法逐通道加权到先前的特征上。
实验结果：
2.CBAM: Convolutional Block Attention Module
2.1基础知识
整体结构如下，先全局池化--->全连接---->relu---->全连接---->sigmoid
宽度、深度、基数depth, width, and cardinality.
网络更深带来的一个非常大的好处，就是逐层的抽象，不断精炼提取知识，更深的网络层能学习到更加复杂的表达。
而宽度就起到了另外一个作用，那就是让每一层学习到更加丰富的特征，比如不同方向，不同频率的纹理特征。
ResNeXt的作者引入了一个被称为“基数”（cardinality）的超参数 - 即独立路径的数量，以提供一种新方式来调整模型容量。实验表明，通过增加“基数”提高准确度相比让网络加深或扩大来提高准确度更有效。这里的基数就是32，我感觉就是残差模块的宽度。
2.2CBAM
2.2.1注意力机制
本文的作者觉得senet中提出的通道注意力只是次优特征，用使用空间注意力，并且使用了最大池化而不是全局均值池化
2.2.2卷积块注意力模块
整个注意力实施的过程，可以如下表示：
和senet一样，分两步：先提取相关注意力权重;再把权重乘到特征图谱上再进行下一步的前向传播。
2.2.2.1新的通道注意力
使用最大池化和平均池化对feature map在空间维度上进行压缩，得到两个不同的空间背景描述。使用由多层感知器（只有一个隐藏层，所以可以写成两次矩阵乘法）组成的共享网络对这两个不同的空间背景描述进行计算得到channel attention map，最后加起来做sigmoid。这里池化后的f是11c维度，解决的是what
2.2.2.2空间注意力
这一步是输入是上一步的输出，即可通道注意力加权后的后特征图谱，这里池化完后的数据是1*h*w，结果基于channel 做concat操作。然后经过一个卷积操作，降维为1个channel。再经过sigmoid生成spatial attention feature。最后将该feature和该模块的输入feature做乘法，得到最终生成的特征。解决的是where的问题
2.2.2.3cbam+res
作者把cbam模块和res模块做了个串联，通道注意力为空间注意力服务，空间注意力为残差服务。也可以和senet一样，直接加载卷积的过程中，因为这就是个很轻量化的模块。
BAM
0.Bottleneck
先复习一下resent中残差块中的瓶颈模块
使用的是1*1的卷积神经网络，结构很方便改变维度。灵活设计网络，并且减小计算量。
1.Bottleneck Attention Module
之前的cbam是先进行通道注意力，然后以其为输入进行计算空间注意力。在bam中是分步计算，求和在sigmoid
1.1通道注意力
和之前一样的是先全局均值池化、升维、降维；r还是16
和之前不一样的是这次使用了偏执和归一化
1.2空间注意力
先使用1*1卷积对跨通道的特征映射进行整合和压缩，再使用两个3*3卷积去获得上下文信息，最后再来个1*1卷积又变成了1*h*w维度的权重图谱了。而且还是用了归一化处理。
1.3结合两个注意力分支
这次的注意力图谱不再是2d的了，现在是3d的了。两个图谱的维度不一样，通道的是1*1*c,空间的是1*h*w，他把attention maps扩大到c*h*w维度
2.实验结果
