1、LeNet

image.png

2、AlexNet
12年ImageNet冠军，5个卷积3个全连接，多个小卷积代替单一大卷积，使用使用ReLU激活函数，解决梯度小数问题；引入dropout避免模型过拟合；最大池化。

image.png

3、ZF-Net
13年ImageNet冠军，只用了一块 GPU 的稠密连接结构；将AlexNet第一层卷积核由11变成7，步长由4变为2。

ZFNet神经网络与AlexNet神经网络结构基本一致

• 将第一个卷积层的卷积核大小改为了7 * 7
• 将第二、第三个卷积层的卷积步长都设置为2
• 增加了第三、第四个卷积层的卷积核个数

改进理解：

• 减少第一层的卷积核大小，可以提取到更加细致的特征
• 步长设置为2，多次分批缓慢降低图像大小，不会损失过多信息
• 增加第三层第四层卷积核，后层的卷积核以及存在语义信息，个数增多能够学习更多复杂语义特征

4、VGG
14年ImageNet分类第二名，更深的网络，卷积层使用更小的filter尺寸和间隔；多个小卷积让网络有更多的非线性，更少的参数。

image.png

image.png

5、NIN

image.png

6、GoogLeNet
14年ImageNet分类第一名。引入Inception模块，采用不同大小的卷积核意味着不同大小的感受野，最后拼接意味着不同尺度特征的融合；采用了平均池化代替全连接层，避免梯度消失，网络额外增加了2个辅助的softmax用于向前传导梯度。

image.png

image.png

7、ResNet
：引入残差单元，简化学习目标和难度，加快训练速度，模型加深时，不会产生退化问题；能够有效解决训练过程中梯度消失和梯度爆炸问题

image.png

image.png

8、DenseNet
密集连接；加强特征传播，鼓励特征复用，极大的减少了参数量。

image.png