CNN发展史
| 年份 | 主要事件 | 意义 |
|---|---|---|
| 1989 | Yann LeCun等人提出了LeNet的最初形式 | CNN研究萌芽 |
| 1998 | Yann LeCun等人回顾了应用于手写字符识别的各种方法，并用标准手写数字识别基准任务对这些模型进行了比较，结果显示卷积神经网络的表现超过了其他所有模型，激起了大量学者对神经网络的研究的兴趣 | LeNet-5网络是后续大量CNN网络构架研究起点 |
| 2012 | ILSVRC2012冠军：AlexNet，Top-5 Error Rate = 15.3% | 1. ReLu替换Sigmoid；2. 引入多GPU计算；3. 使用Dropout抑制过拟合；4，使用数据增强Data Augmentation抑制过拟合；5，网络层数更深 |
| 2014 | ILSVRC-2014 亚军：VGG16,Top-5 Error Rate = 7.3% | 证明了使用小卷积核，并增加网络深度，对提升网络的性能有很大的作用 |
| 2014 | ILSVRC-2014 冠军：GoogLeNet v1, Top-5 Error Rate = 6.67% | 提出了Inception module，并以此为基础来搭建一个稀疏性、高计算性能的网络结构；网络比VGG深，但参数数量比VGG少；用全局平均池化层替代全连接层，消除对输入图像尺寸的约束 |
| 2015 | ILSVRC-2015 冠军：ResNet, Top-5 Error Rate = 3.57% | 引入残差结构，解决网络退化问题(网络加深后，性能反而下降)，让神经网络可以很深：152层；是迄今最常用也最实用的一个网络结构 |
| 2016 | GoogleNet v4 Top-5 Error Rate = 3.08% | 将Inception与残差连接结合起来，提高卷积神经网络性能 |
神经网络层数的演进
人在ImageNet数据上的表现：Top-5 Error Rate = 5.1%，这个结果清楚地表明，深度神经网络在识别对象和分类对象方面比人类更好。
