由于毕设需要，恶补关于卷积神经网络（CNN）的知识。为了方便自己复习巩固，随时总结补充。本人理解浅薄，欢迎各路大神指点小白~~😁
CNN与普通的神经网络最大的不同有两点：
- 局部连接 locally connection
- 权值共享 shared weights
1.局部连接
我们都知道，普通的神经网络，每一层的神经元都和下一层所有的神经元相连接（fully connected），如下图所示
相反地，就是局部连接，如下图所示
同时借此图补充一个"接受域"的概念。上图中每层中的神经元与上一层的3个神经元相连接，那么该层的接受域就为3。
显然，局部连接可以大大降低参数个数。
再以二维图像输入为例。假设有一图像大小为1000*1000。我们可以对比全连接与部分连接的参数个数
如上图所示，这里的filter其实就是所谓的卷积核kernel，一个filter只与10*10大小的像素相连，这样参数的个数为1000000*100，是全连接的1/10000。
2.权值共享
那么如果想继续减少网络参数呢？答曰：权值共享！
还拿上图的例子来说，如果那1000000个神经元的参数都一样，那么他们实质上就是同一个卷积核了，这样参数数目就继续缩小为10*10=100个了
卷积核
不同的卷积核对应的是不同的参数，对同一个输入施加不同的卷积核进行卷积，输出的不同的图（也就是feature map）叫做不同通道。
卷积操作
本人是用tensorflow来实现卷积的，对应的函数是：tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, name=None)
这里的strides，padding两个参数困扰本渣好久，他们也对应于二维卷积操作时的具体控制参数。
1.步长（strides）
可以把卷积核看作是一个矩形窗口，当这个窗口在某个位置完成一次卷积操作后，他需要进行水平or竖直方向上的滑动，‘步长’就是控制每次滑动的距离的。下面演示的就是两个方向步长都为1的情况
2.填充（padding）
所谓“填充”，可以预想，当你在水平向右平移窗口时，可能会遇到窗口“出界”的情况，这时就有两种选择了，对应padding='SAME'（填充0元素），或者是padding='VALID'（不填充元素）。
what's more,有意思的是这两种控制参数会影响输出的特征图的大小，此处总结下：
假设输入的图像的长和宽相等,且输入图的大小为x*x，卷积核大小为f*f，步长为s
| 填充方式 | 'SAME' | 'VALID' |
|---|---|---|
| 输出的大小y |  |
|
| 需要填充的行（列）数 |  |
0 |
3.池化（pooling）
池化的本质就是采样，也达到了降低feature map维度的效果，同时使得得到的特征更加鲁棒。比如有一个p*p大小的池化核，具体实现的时候，它和卷积核的移动是有区别的，在操作完feature map后，就直接滑到下一个p*p的窗口（可以看作移动步长就是p）。
池化最常见的有两种：
- max pooling 最大池化
- mean pooling 平均池化
a. max pooling
最大池化，顾名思义，就是取p*p邻域内的最大值作为输出。
b. mean pooling
平均池化，就是取邻域内的加权平均。
Drop out
(to be continued...)
Local response normalization
...
参考资料
当我们在谈论 Deep Learning：CNN 其常见架构（上）
卷积神经网络
卷积神经网络(CNN)
An Intuitive Explanation of Convolutional Neural Networks
