常用的CNN结构

1. LeNet-5

用于数字识别

2. AlexNet

（图中第一层的输出被分为了两部分，因为作者在做实验使用GTX580，放不下这么大的网络，所以用了两个GPU，分别放一半的网络结构）

即如下结构：

输入：227 x 227 x 3的图像

第一层：(CONV1)：96个 11 x 11的卷积核，步长为4。 

        输出为 55 x 55 x 96（Hint：(227 - 11)/4 + 1 = 55）。参数个数为(11*11*3)*96 = 35K。

第二层：（POOL1）：3 x 3的filter，步长为2。输出为：27 x 27 x 96。参数个数为0。

3. VGGNet

使用更深的网络，更小的filter

使用更小filter(3 x 3 conv)的原因：stack of three 3 x 3 conv (stride 1) layers has same effective receptive field as one 7 x 7 conv layer。但是参数个数更少

effective receptive field：http://blog.csdn.net/gengsijing4459/article/details/78522997

AlexNet有6000万个参数

4. GoogleNet

计算很高效，没有全联接层。只有500万的参数，AlexNet是它的12倍。

"Inception module": design a good local network topology(network with a network) and then stack these modules on top of each other.

平行计算，所以能提升计算效率。

这种方法的问题：

5. ResNet

residual connection

各种方法的结果：