相关背景
如果网络中的图片，经过旋转、平移、缩放及裁剪等操作，网络输出同样的检测结果，那么我们说这个网络具有空间变换不变性。
传统CNN网络的池化层具有平移不变性，但是CNN网络对于大尺度的空间变换，不具备不变性。
STN提出的空间网络变换层，具有保证网络保持空间变换不变性的能力。这样，这个网络可以加到现有的卷积网络中，提高分类的准确性。
举个例子：输入手写字体，我们感兴趣的是数字区域，那么在训练过程中，学习到的空间变换网络能自动提取局部数据特征，并对框内的数据进行空间变换，得到output。
综上所示，STN主要有三个作用：
1、可以将输入转为下一层期望的形式
2、可以在训练中自动选择感兴趣的区域特征
3、可以实现对各种形变数据进行空间变换
手写字的空间转换网络示意图
算法概述
STN网络包含三部分：
1、Localization Network 局部网络
2、Parameterised Sampling Grid 参数化网格采样
3、Differentiable Image Sampling 差分图像采样
1、局部网络
输入：特征图
输出：变换矩阵
图像经过变换后，每个点的像素值一定会变化，如何确定变换后每个点的像素值呢？
2、参数化网格采样
目的：得到输出特征图的特征点对应的输入特征图的坐标点的位置
寻找对应点
注意，这里是根据目标图片中的坐标为基础，找输入照片中对应的特征点。
通过这步，我们就得到了目标特征图中每个坐标在输入图片中的对应位置。下面我们就可以直接根据这个关系，提取输入图片每个位置的像素值。但是有个问题：目标图片的坐标对应的输入图片的坐标点，不一定为整数坐标点，而整数坐标点才能提取像素值。
下个步骤就解决了这个问题。
3、差分图像采样
这一步完成的任务就是，利用插值的方式，找到对应点的灰度值。
双线性差值
现在再去看一下STN的图示，应该会更好理解一些。
SNT
