2019-06-22

CNN的发展历史（LeNet,Alexnet,VGGNet,GoogleNet,ReSNet）

LeNet-5、AlexNet、GoogLeNet、VGGNet、ResNet

1、LeNet-5（Yann LeCun）
1986，用于手写体识别：用这个来仔细理解CNN
2、AlexNet（Alex，Hinton的学生）
2012，Imagenet比赛冠军：特殊点在LRN层等
3、GoogLeNet
2014，Imagenet比赛冠军：特殊点在inception结构
4、VGGNet
2014，ILSVRC比赛的亚军和定位项目的冠军。特殊点在用多个小filter代替一个大filter，如两个3x3代替5x5。
5、ResNet
2015，Imagenet比赛冠军：特殊点在残差、bottleneck结构

1 LeNet-5

灰常详细：网络解析（一）：LeNet-5详解

LeNet-5网络结构

2 AlexNet

炒鸡详细：AlexNet详细解读

AlexNet网络结构

• ReLU是什么：f(x) = max(0, x)

  
  
  ReLU
• ReLU优势：
  (1) 为什么要用非线性：线性函数的函数依然是线性，意味着堆多少层都相当于一层。这样模型的表达能力有限。
  (2) 同样是非线性，为什么要用ReLU：sigmoid、tanh函数在gradient饱和时趋近0，会造成梯度消失（梯度下降时衰减慢），或者梯度爆炸；导数是常数。所以ReLU这样的非饱和函数要比饱和函数训练得快。
  (3) 符合生物学特性，生物没有负的呀
• 为什么说ReLU是非线性：
  因为线性、非线性是对于整个定义域而言的。

2、特点2——双GPU

• GPU相互间只能在特定的层进行通信交流，每一个GPU负责一半的运算处理。但其实与单GPU并非等价的，双GPU提高计算速度的同时，也提高了准确度（不太懂）。

3、特点3——提出了LRN局部响应归一化（Local Response Normalization）
LRN ( Local Response Normalization) 局部响应归一化层

• LRN优势：提高准确度
• 用法：在激活、池化后进行
• 思想：对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力

• 公式：
  LRN公式
• 理解：以某一规则“归一化”，是把激活函数的输出作为a，“归一化”后的结果为b。实现了某种形式的横向抑制，因为是跟这一层的所有卷积核相关的。
  （不太理解为什么要这样）
• 看这个理解了公式，把大段大段的文字都看一遍：在AlexNet中LRN 局部响应归一化的理解
• 所谓的横向抑制是指在不同kernel层的方向上，同一个像素位置(x, y)的归一化。其中n是自己设置，决定了哪些层的这个位置归一化。但是还是感受不到这样做的好处。

4、特点4——池化：maxpooling、overlap

• max pooling的优势：避免平均池化的模糊化效果
• overlap pooling的优势：池化层的输出之间会有重叠和覆盖，提升了特征的丰富性

5、特点5——证实了Dropout的效果

6、特点6——用了数据增强

• 原图片大小为256256中随机的提取224224的图片，以及水平方向的镜像。
• 图像中每个像素的R、G、B值上分别加上一个数（这个不太懂）

3 GoogleNet

在这之前，网络的改进基本都是往更深发展。而GoogleNet除了堆了很多层，还有很多inception层。

GoogleNet网络结构

inception模型

• 理解：看了链接里油管上吴恩达的一点点，应该意思是，之前是比如5x5的同样大小的6个卷积核作用于输入，现在换成有的是5x5，有的是3x3，有的是pooling，然后跟之前一样，堆叠起来。
• inception优势：这样特征就很多样化了。

4 VGG

VGGNet介绍
1、特点1——小卷积核替代大卷积核

• 思想：2个3x3串联相当于1个5x5；3个3x3的感受野相当于1个7x7
• 优势：3个33的卷积层参数量只有77的一半左右；前者可以有3个非线性操作，而后者只有1个非线性操作，这样使得前者对于特征的学习能力更强。

5 ResNet

经典分类CNN模型系列其四：Resnet
1、特点1——残差模块

Residual Learning

• 思想：不用学习整个的输出，而是学习上一个网络输出的残差
• 理解：正常的是学习X -> H(X)的过程，而残差网络的关系是X -> (H(X) - X) + X要学习的是X -> (H(X) - X)的过程

2、特点2——bottleneck

Bottleneck

• 优势：bottleneck的结构块来代替常规的Resedual block，它像Inception网络那样通过使用1x1 conv来巧妙地缩减或扩张feature map维度从而使得我们的3x3 conv的filters数目不受外界即上一层输入的影响，自然它的输出也不会影响到下一层module。