在神经网络训练过程中，反向传播可以说是迄今为止用途最成功的算法。而其本质可以说是非常简单：多元函数微分链式法则。同时再用一些trick降低计算量。下面具体说明反向传播的过程。
首先要明确的一点就是，反向传播是在运行梯度下降时，通过靠后的神经元层的梯度来计算考前的神经元层的梯度的，也就是说，这个算法就是用来算梯度的。
以单隐含层的神经网络为例说明，如上图的神经网络中对于训练集中的某个点，假设激活函数为sigmoid，那么我们有
其中为二阶张量，即第一隐含层的权重矩阵，如果我们采用均方误差，那么我们的目标函数（cost function）为
BP算法基于的梯度下降（gradient desent）中每一步改变的量为
现在我们基于链式法则分解这个微分项
其中为
中的某一项，
为
对应单元未经过激活前的值，注意到
那么记
注意到，都是可以直接计算（激活函数和目标函数的一阶微分）的，所以原公式更新为
由该公式可以有效地更新，下面来看梯度是如何传播的。
设输入层到隐含层的权重矩阵为，即
同上对于中的每一项，有
其中为
中的每一项，
为线性结果。我们采用类似上面的处理，记
我们看到，传播的代价就是相比之前多了一次求和，这样没传播一次，只需进行规模的多重和，和计算激活函数的导数，如果激活函数的导数再具有一些性质，计算将变得更加简单，例如sigmoid函数
这将进一步简化之前的公式。
