这里以一个实例介绍一下卷积层的后向传播, 当stride 等于2的情况下,求输入,权重和偏置的梯度。假设输入的特征图X是4x4的矩阵,卷积核W是2x2大小, 考虑“valid”的卷积,则输出特征图Y为2x2的矩阵 :
输出Y的表达式可以表示为:
假设代价函数对输出Y的梯度为, , 其为2X2的矩阵,如下:
然后分别来看输入,权重和偏置的梯度的求解过程。
输入的梯度
从Y的表达式求X的偏导:
用矩阵可以表示如下:
简单的可以表示如下:
前向stride等于2, 反向计算的时候,需要对 加internal padding, 这个是与stride等于1的时候是非常不一样的。
权重的梯度
从Y的表达式求W的偏导, 可以得到:
用矩阵可以表示如下:
简单的可以表示如下:
可见前向stride等于2, 反向计算的时候,与前向stride等于1的时候是不一样的,计算的时候, 是做dilation convolution,而不是普通的convolution.
偏置的梯度
从Y的表达式求b的偏导, 可以得到:
简单的可以表示如下:
偏置的梯度的计算和stride等于1的时候是一样的。