VGGNet为什么效果比AlexNet好

VGGNet简介

VGGNet网络结构

下图是学界最常使用的vgg-16神经网络结构图，可以看到其组成由：

$2$ 个通道数是 $64$ 的 $224\times 224$ 的卷积层
$2$ 个通道数是 $128$ 的 $112\times 112$ 的卷积层
$3$ 个通道数是 $256$ 的 $56\times 56$ 的卷积层
$3$ 个通道数是 $512$ 的 $28\times 28$ 的卷积层
$3$ 个通道数是 $512$ 的 $14\times 14$ 的卷积层
$1$ 个通道数是 $4096$ 的全连接层
$1$ 个通道数是 $4096$ 的全连接层
$1$ 个通道数是 $1000$ 的全连接层+softmax层
这样加起来 $2+2+3+3+3+1+1+1 = 16$ ，vgg-16就是这样由来的：

当然，VGGNet除了16层的网络结构还有其他样式的网络结构，如图：

VGGNet与AlexNet网络结构的对比

可以看到，VGGNet除了层数比AlexNet多外，不管是VGG-16还是VGG-19其使用的卷积核均是 $3\times 3$ 的，而非AlexNet的 $11\times 11$ 或者 $5\times 5$ 的，如图：

为什么要使用小卷积核

之前对感受野有了一次介绍，这里是连接：卷积神经网络的感受野及其计算，所以在这里会采用感受野的知识来回答这个问题。我们把 $3$ 个 $3\times 3$ 的卷积核堆叠起来：

第一个 $3\times 3$ 的卷积核的感受野是 $3\times 3$ 。
第二个 $3\times 3$ 的卷积核的感受野是 $5\times 5$ 。
第三个 $3\times 3$ 的卷积核的感受野是 $7\times 7$ 。

也就是说，经过 $3$ 次卷积运算后其对原始图像的感受野是 $7\times 7$ 的，相当于一个 $7\times 7$ 的卷积核的感受野！但是为什么不直接使用一个 $7\times 7$ 的卷积核呢？原因是虽然 $3$ 个 $3\times 3$ 的卷积核的感受野与 $1$ 个 $7\times 7$ 的卷积核一样，但是前者可以经过 $3$ 次激活函数的非线性变换具有比 $1$ 次非线性变化得到的特征更具有表达性。除此之外，使用小的卷积核还能够节省参数量，例如假设上一层的特征图的通道数是 $C$ 个，那么：

$3$ 个 $3\times 3$ 卷积核的参数量是： $3\times (C\times (3\times 3\times C)) = 27C^2$
$1$ 个 $7\times 7$ 卷积核的参数量是： $C\times (7\times 7\times C)) = 49C^2$

总结

可多次非线性变换提高卷积核对特征的抽取。
参数量更少，方便计算和存储。

VGGNet每层的参数量

下图展示了VGG-16网络结构每一层的参数量，需要说明的是在训练该网络时大部分的内存开销都在开始的卷积层，大部分的参数都在最后的3个全连接层：