Feed Forward and Backward Run in Deep Convolution Neural Network
徒手实现CNN：综述论文详解卷积网络的数学本质 | 机器之心
一、卷积网络的名词解释
卷积核kernel：一个3x3的卷积核大概就长这样
总共又 3x3个权重w和一个偏置b。
卷积的时候要拿着这个卷积核对这一层的输入做卷积（卷积大家都知道吧，就是逐个相乘再求和）
过程是这样的：先不考虑卷积核的移动，卷积的时候将输入矩阵中对应元素和卷积核中对应的权重相乘，求和，再加上b
然后移动卷积核重复卷积，得到的结果也放到输出矩阵中下一个位置。
就像这样移动：
步长stride:就是卷积核在输入矩阵上每次移动的距离，以上图为例，步长就为2。
填充padding:填充就是像上面动图一样，在输入矩阵四周填充0，使得卷积核移动的时候既不会漏掉边也不会超出（padding后的）输入矩阵。
特征图feature map：卷积后得到的一个矩阵就是特征图，不同的卷积核在同一个输入矩阵上卷积就会得到多个特征图，特征图和卷积核相对应。
通道channel:对于输入图像来说，通道一般为3，就是RGB三通道。对于中间的卷积层来说，通道就是特征图，多个卷积核会得到多个通道。
深度可分离卷积
深度可分离卷积由 Depthwize 卷积和 Pointwise卷积组成。
[Depthwise卷积与Pointwise卷积](https://blog.csdn.net/tintinetmilou/article/details/81607721)
卷积方式汇总
[CNN中千奇百怪的卷积方式大汇总](https://zhuanlan.zhihu.com/p/29367273)
[通道洗牌、变形卷积核、可分离卷积？盘点卷积神经网络中十大令人拍案叫绝的操作。](https://www.jianshu.com/p/71804c97123d)
