反向传播算法之要点(Backpropagation)

反向传播算法之要点(Backpropagation Algorithm)

Introduction

反向传播是一个很简单的算法，一个学习过微积分的人就能够轻松的理解。本文希望避免让人打不起精神来看的冗余繁杂，简洁地把反向传播的算法的推导过程和求解过程进行简洁、清晰的表述。

本文目标读者：

大概了解反向传播，但是还没有理解反向传播的公式推导过程。

反向传播的要点只有3个公式，首先在此做总结如下：

符号解释：

符号	含义
$w_{ij}^l$	第l-1层第j个神经元输入到第l层第i个神经元时所要乘的权重
$b_i^l$	第l层第i个神经元的偏置
$z^l_i$	第l层第i个神经元的输入， $z^l_i=\sum_jw_{ij}a^{l-1}_j+b^l_i$
$a^l_i$	第l层第i个神经元的输出， $a^l_i=activation(z^l_i)$
$C$	Cost function
$\delta^l_i$	$\delta^l_i=\frac {\partial C}{\partial z^l_i}$

tips:当没有加上下标的时候，表示一个列向量或矩阵

3个基本公式

$\frac {\partial C}{\partial w^l}= \delta^l \cdot (a^{l-1})^T$

$\frac {\partial C}{\partial b^l}=\delta^l$

$\delta^{l}=a'(z^l)\odot ((w^{l+1})^T\delta^{l+1})$

公式的推导

求解参数：已知 $\delta^l$ 求解参数 $w^l,b^l$

已知：

$z_i^l=\sum_j w^l_{ij} a^{l-1}_j + b^l_i$

推导：

$\Rightarrow_{(elementwise \, form)} \frac {\partial C}{\partial w^l_{ij}}=\frac {\partial C}{\partial z^l_i} \frac {\partial z^l_i}{\partial w^l_{ij}}=\delta^l_i a^{l-1}_j ,\quad \frac {\partial C}{\partial b^l_{i}}=\frac {\partial C}{\partial z^l_i}\frac {\partial z^l_i}{\partial b^l_i}=\delta^L_i$
$\Leftrightarrow_{(vector \,form)} \frac {\partial C}{\partial w^l}= \delta^l \cdot (a^{l-1})^T ,\quad \frac {\partial C}{\partial b^l}=\delta^l$

递推：已知 $\delta^{l+1}$ 求解 $\delta^l$

全微分Review:

$\Delta z=f(x+\Delta x,y+\Delta y)-f(x,y) \approx \frac {\partial f}{\partial x}\Delta x+\frac {\partial f}{\partial y}\Delta y$

$\Rightarrow \frac {\partial f(a_1(x),a_2(x),...,a_n(x))}{\partial x}=\sum_{i=1}^n \frac {\partial f}{\partial a_i} \frac {\partial a_i}{\partial x}$

推导：

$\delta^{l}_j=\frac {\partial C}{\partial z^l_j}=\sum_i \frac {\partial C}{\partial z^{l+1}_i} \frac {\partial z^{l+1}_i}{\partial a^l_j} \frac {\partial a^l_j}{\partial z^l_j}=\frac {\partial a^l_j}{\partial z^l_j} \sum_i \frac {\partial C}{\partial z^{l+1}_i} \frac {\partial z^{l+1}_i}{\partial a^l_j}=a'(z^l_j)\sum_i \delta ^{l+1}_iw^{l+1}_{ij}$

$\Rightarrow_{vector form} \quad \delta^{l}=a'(z^l)\odot ((w^{l+1})^T\delta^{l+1})$

tip: " $\odot$ " 代表Hadamard积，两个向量的Hadamard积就是把他们的元素对应相乘，例：
$\begin{pmatrix} 3 \\ 4\end{pmatrix} \odot \begin{pmatrix} 2 \\ 8\end{pmatrix} = \begin{pmatrix} 3\cdot2 \\ 4\cdot 8\end{pmatrix}=\begin{pmatrix} 6 \\ 32\end{pmatrix}$

Backpropagation Algorithm

backpropagation(x):

输入：令 $a^1=x$

前向传播: $for\,l=2,3,4,..,L$ 迭代式地计算 $a^l$ ，并且保存它们。迭代公式： $z^{l}=w^la^{l-1}+b^{l-1}$ , $a^{l}=activation(z^{l})$ 。

计算输出层的误差：根据选择的Cost function，计算输出层的 $\delta^L$

反向传播: $for\, l=L,L-1,L-2,...,2$ 根据当前的 $\delta^l$ 计算并保存 $\frac {\partial C}{\partial w^l}$ 、 $\frac {\partial C}{\partial b^l}$ ，迭代计算 $\delta^{l}:=a'(z^{l-1})\odot ((w^{l})^T\delta^{l})$

输出所有的微分： $\frac {\partial C}{\partial w^l}$ 、 $\frac {\partial C}{\partial b^l}$ , $for\, l=2,3,...,L$ ,