卷积神经网络学习笔记

1、输入层的大小为H $\times$ W，卷积核的大小为h $\times$ w，则输出为(H-h+1) $\times$ (W-w+1);

2、梯度会累加，所以记得要梯度清零；

3、引入填充(padding)和步幅(stride)后，设填充为m，步幅为n，输出形状为[(W+2m-w+n)/n] $\times$ [(H+2m-h+n)/n]；

4、全连接层展开后是个一维向量，相邻元素相隔较远，与卷积层相比各有特点；

特征：

1、8层变换，其中有5层卷积和2层全连接隐藏层，以及1个全连接输出层。

2、将sigmoid激活函数改成了更加简单的ReLU激活函数。

3、用Dropout来控制全连接层的模型复杂度。

4、引入数据增强，如翻转、裁剪和颜色变化，从而进一步扩大数据集来缓解过拟合。

VGG：通过重复使⽤简单的基础块来构建深度模型。

Block:数个相同的填充为1、窗口形状为3×3的卷积层,接上一个步幅为2、窗口形状为2×2的最大池化层。

卷积层保持输入的高和宽不变，而池化层则对其减半。

LeNet、AlexNet和VGG：先以由卷积层构成的模块充分抽取空间特征，再以由全连接层构成的模块来输出分类结果。

NiN：串联多个由卷积层和“全连接”层构成的小⽹络来构建⼀个深层⽹络。

⽤了输出通道数等于标签类别数的NiN块，然后使⽤全局平均池化层对每个通道中所有元素求平均并直接⽤于分类。

由Inception基础块组成。

Inception块相当于⼀个有4条线路的⼦⽹络。它通过不同窗口形状的卷积层和最⼤池化层来并⾏抽取信息，并使⽤1×1卷积层减少通道数从而降低模型复杂度。

可以⾃定义的超参数是每个层的输出通道数，我们以此来控制模型复杂度。

tips：感受野(receptive field)