神经网络的学习主要蕴含在权重和阈值中，多层网络使用上面简单感知机的权重调整规则显然不够用了，BP神经网络算法即误差逆传播算法（error Back Propagation）正是为学习多层前馈神经网络而设计，BP神经网络算法是迄今为止最成功的的神经网络学习算法。
上图的网络中有(d+l+1)*q+l个参数需要确定：输入层到隐层的d×q个权重，隐层到输出层q×l个权重、q个隐层神经元的阈值、l个输出神经元的阈值。
上图为一个单隐层前馈神经网络的拓扑结构，BP神经网络算法也使用梯度下降法（gradient descent），以单个样本的均方误差的负梯度方向对权重进行调节（sgd算法）。
学习率η∈（0，1）控制着沿反梯度方向下降的步长，若步长太大则下降太快容易产生震荡，若步长太小则收敛速度太慢，一般地常把η设置为0.1，有时更新权重时会将输出层与隐含层设置为不同的学习率。
可以看出：BP算法首先将误差反向传播给隐层神经元，调节隐层到输出层的连接权重与输出层神经元的阈值；接着根据隐含层神经元的均方误差，来调节输入层到隐含层的连接权值与隐含层神经元的阈值。
训练多层感知器 - 前向阶段 & 反向阶段
训练多层感知器的一个流行方法是反向传播算法，这包含 LMS 算法作为一个特例。训练分为如下的两个阶段：
1. 前向阶段，网络的突触权值是固定的，输人信号在网络中一层一层传播，直到到达输出端。在这一阶段，输人信号的影响限制在网络中激活隐藏神经元和输出神经元上。
2. 反向阶段，通过比较网络的愉出和期望输出产生一个误差信号。得到的误差信号再次通过网络一层一层传播，但是这一次传播是在反向方向进行的。在这第二阶段，对于网络的突触权值进行不断的修正。对于输出层权值的修正计算是直接的，但是对于隐藏层来说则更有挑战性。
反向传播这个词的使用出现在 1985 年后，而它的广泛使用是在《Parallel Distributed Processing》 (Rumelhart and McClelland, 1986) 这本书出版以后。
20 世纪 80 年代中期反向传播算法的提出是神经网络发展史上的一个里程碑，因为它为训练多层感知器提供了一个高效的计算方法，它使多层感知器的学习不再像 Minsky 和 PaPert 在其 1969 年所著的书中所暗示的那样悲观。
其实，多层感知机跟神经网络是一个东西，那么这个问题就是个抠字眼的问题了。单层感知机的求解W，b的过程不成系统，但是是可借鉴的。之后的反向传播才是集大成者。
