Inception Convolution with Efficient Dilation Search论文笔记

1.论文地址：https://arxiv.org/abs/2012.13587

2.论文代码：暂未开源

3.论文动机：

1.空洞卷积（Dilation convolution）是标准卷积神经网络的关键变体，可以控制有效的感受野并处理对象的大尺度方差，而无需引入额外的计算。但是，在文献中很少讨论将有效感受野适合于具有卷积的数据。为了充分挖掘其潜力，作者提出了一种新的空洞卷积变体，即inception (dilated)卷积，其中卷积在不同轴，通道和层之间具有独立的空洞。为了探索一种将复杂的初始卷积拟合到数据的实用方法，开发了一种基于统计优化的简单而高效的空洞搜索算法（EDO，effective dilation search）。该搜索方法以零成本方式运行，该方法极其快速地应用于大规模数据集。

2.在不同的任务中，由于输入图像的大小差异和感兴趣对象的尺度范围不同，对ERF的要求也不同。例如，在图像分类中，输入的尺寸往往比较小(例如:而在目标检测中，输入的尺寸要大得多，目标尺度范围也很大。即使对于固定网络的同一任务，某一卷积层的最优ERF也可能与标准卷积运算不同。由于ERF的要求不断变化，需要针对不同的任务提出一种通用的、实用的ERF优化算法。

4.论文创新：主要有两个贡献：

1.首先，希望有一个更灵活的搜索空间，可以使得模型能够具备将ERFs拟合到不同数据集的能力。于是本文提出一种新的膨胀卷积突变体，即Inception卷积，它包含尽可能多的膨胀模式

2.本文提出了一种简单而高效的膨胀优化算法(EDO)。在EDO中，超网络的每一层都是一个标准的卷积操作，其内核覆盖了所有可能的膨胀模式。在对超网络进行预训练后，通过求解一个统计优化问题，为每个卷积层中的每个通道选择膨胀模式。对于每一层，通过原始卷积层的输出期望与裁剪出来的与所选膨胀模式的膨胀卷积的L1误差最小，使用预先训练好的权值来解决选择问题。