学习了一段深度学习之后，对经典的CNN模型整理了一下，内容主要是参考了吴恩达老师的视频与《动手学深度学习》，如果有错误之处还望指正。

一、 LeNet-5

1.1简介

LeNet模型，这是一个早期用来识别手写数字图像的卷积神经网络，它的名字来源于LeNet论文的作者YannLeCun。虽然以现在的眼光看来，LeNet模型结构与设计思想相对简单，但它却代表了当时那个时代下通过梯度下降训练卷积神经网络来识别手写数字的最为先进的结果。

1.2网络结构

LeNet主要分为卷积层块与全连接层两个部分，这也为后续的卷积神经网络奠定了基础的架构。在LeNet中，卷积层块里的基本单位是卷积层+最大池化层：卷积层是用来识别图像中的空间特征，如线条和物体的局部等，之后的最大池化层则用来降低卷积层对位置的敏感性。此外，每个卷积层都使用5×5的卷积核进行卷积运算，并在输出的结果上使用sigmoid激活函数。卷积层块的两个最大池化层的窗口形状均为2×2，且步幅为2。当卷积层块的输出传入全连接层块时，全连接层块会将小批量中每个样本变平。也就是将全连接层的输入形状变成二维，其中第一维是小批量中的样本，第二维是每个样本变平后的向量表示，且向量长度为通道、高和宽的乘积。全连接层块含有3个全连接层，它们的输出个数分别是120、84和10，其中10为输出的类别个数。
总的来说，LeNet模型采用了两个卷积层、两个池化层以及三个全连接层，其参数可以达到6万个左右。至于为什么没有考虑更深的神经网络，这可能受到了当时那个时代硬件上的约束。

二、 AlexNet

2.1简介

在LeNet提出后的几十年里，神经网络一度被其他机器学习的方法超越，而导致出现这种情况的原因主要是：（1）数据，一个包含许多特征的深度模型它需要大量的有标签的数据才能表现得比其他经典方法更好；（2）硬件（算力），深度学习对计算资源要求很高，但是早期的硬件计算能力非常有限。直到2012年，这两点都得到了很大程度的改善，这也就造就了AlexNet模型的横空出世。它首次证明了学习到的特征可以超越手工设计的特征，一举打破了困扰计算机视觉研究的瓶颈。

2.2网络结构

AlexNet与LeNet的设计理念非常相似，但也有非常明显的区别。第一、AlexNet包含5层卷积、2层全连接隐藏层以及1层全连接输出层；第二、AlexNet模型将sigmoid激活函数更改为了更为简单的ReLU激活函数；第三、AlexNet通过丢弃法（Dropout）有效的控制了全连接层的模型复杂度，防止引入过多的参数；第四、AlexNet引入了大量的图像增广，如翻转、裁剪以及颜色变化等，有效的增加了数据样本的数量，从而缓解了过拟合现象的发生。
由于ImageNet数据集中的图像要比MINST数据集大许多，所以需要更大的卷积核来捕捉物体，因此第一层卷积核的窗口为11×11。而第二层卷积核就减少到5×5，之后就一直采用3×3。此外，第一、第二和第五个卷积层之后都使用了窗口形状为3×3、步幅为2的最大池化层，最后就是一般的全连接层。

三、 VGG-16

3.1简介

虽然AlexNet模型指明了深度卷积神经网络可以取得出色的结果，但是它并没有提供较为简单的规则来指导怎么来设计新的网络。而VGG的提出，为广大的神经网络研究者提供了一种通过使用简单的基础块来构建深度模型的思路。VGG块的组成规律是：连续使用数个相同的填充为1、窗口形状为3×3的卷积层后接上一个步幅为2、窗口形状为2×2的最大池化层。卷积层保持输入的高和宽不变，而池化层则对其减半。

3.2网络结构

与AlexNet和LeNet一样，VGG网络由卷积层模块后接全连接层模块构成。如上图所示，不同版本的VGG网络均是5个卷积层块与3个全连接层，我们以VGG-11为例（A列），它的前两块卷积块使用的是单层卷积，而后3块使用的是双层卷积层。第一块的输出通道是64，之后每次对输出通道数翻倍，直到变为512。最后，同AlexNet模型相同后接3层全连接层。

四、 GoogLeNet

4.1简介

在2014年的ImageNet图像识别挑战赛中，一个名叫GoogLeNet的网络结构大放异彩。它虽然在名字上向向LeNet致敬，但在网络结构上已经很难看到LeNet的影子。

4.2网络结构

在真正去了解GoogLeNet的网络结构之前，我们需要先了解一下它的卷积块。GoogLeNet中的基础卷积块叫做Inception块，得名于《盗梦空间》（Inception），相较于前面所提到的所有卷积块，它要复杂许多，如下图所示。

由上图可以看出，Inception块里有4条并行的线路，前3条线路使用窗口大小分别是1×1、3×3和5×5的卷积层来抽取不同空间尺寸下的信息，其中中间两个线路会对输入先做1×1卷积（可以减少参数）来介绍输入通道数，这可以降低模型的复杂度。第四条线路则使用3×3最大池化层，后接1×1卷积层来改变通道数。4条线路都使用合适的填充来使输入与输出的高和宽一致。最后我们将每条线路的输出在通道维上进行连结，并输入接下来的层中去。
通过Inception块大大减少了我们可以自定义的超参数，我们只需要定义好每个层的输出通道，剩下的事情Inception层可以自动的去选择过滤器大小、卷积层、池化层等等参数，这有利于我们的使用，但这也大大增加了网络的复杂度。
在网络结构方面，GoogLeNet跟VGG是一样的，在主体卷积模块中使用5个模块（block），每个模块之间使用步幅为2的3×3最大池化层来减少输出高宽。

五、 ResNet

5.1简介

ResNet作为2015年ImageNet比赛的冠军，它将识别错误率降低到了3.6%，这个结果甚至超出了正常人眼识别的精度。它有效的解决了神经网络随着层数的加深，其训练效率降低的问题，因此该网络被广泛应用到大型网络之中。

ResNet的核心思想就是引入残差块，那么为什么残差块可以解决神经网络的深度问题呢？这是因为在实际的模型训练中，残差映射往往更为敏感。理论上，理想的映射应该为f(x)=x，但是一个网络越深，那么它的训练效率肯定也会随着深度的增加有所衰减，故而在实际训练中其训练误差往往不容易进行评估，这也导致了f(x)与x差距越来越大。但是如果换种思路，我们去拟合残差映射f(x)-x，之后再与原来的x作比较，则这种方式将更容易进行优化，从而保证在深层网络中模型训练的准确。

5.2网络结构

ResNet沿用了VGG全3×3卷积层的设计。残差块里首先要有2个相同输出通道数的3×3的卷积层，每个卷积层后都接一个批量归一化层和ReLU激活函数。然后我们再将输入x跳过这2个卷积层直接加载最后的ReLU函数之前。这样的设计就必须要求2个卷积层的输出与输入x的形状相同，所以就需要引入一个额外的1×1卷积层来将输入变换成需要的形状后再做相加运算。

使用paddle实现的相关代码：https://www.paddlepaddle.org.cn/tutorials/projectdetail/1630501

参考资料：《动手学深度学习》《吴恩达老师视频：深度学习》