卷积神经网络中卷积运算的前向传播与反向传播推导

文章作者：Tyan
博客：noahsnail.com  |  CSDN  |  [简书](http://www.jianshu.com/users/7731e83f3a4e/latest_articles

0. 必备基础知识

• 卷积以及卷积的运算过程

• 微分相关知识，包括求偏导及链式法则

1. 卷积运算的前向传播

数学符号定义：

输入：

Input

卷积核：

Filter

输出：

Output

卷积运算：

Convolution

Convolution

定义损失函数，将损失函数定义为输出的和，这样方便反向传播计算的演示：

Loss Function

从X -> Y -> L的过程是卷积运算的前向传播过程，为了简化这个过程，这里忽略了偏置项b以及卷积之后的激活函数。

2. 卷积运算的反向传播

• 计算损失函数L对输出Y的梯度

Derivation

• 计算输入X的梯度

Derivation

计算其中每一项的梯度：

Chain Rule

• 计算卷积核W的梯度

Derivation

计算其中每一项的梯度：

Chain Rule

参考资料

1. https://plantsandbuildings.github.io/machine-learning/misc/math/2018/04/28/a-ground-up-c++-convnet-that-scores-0.973-on-the-kaggle-digit-recognizer-challenge.html