BP算法:误差反向传播算法。通过比较输出值与标记值,将误差反向由输出层向输入层传播,利用梯度下降算法进行参数调整。用于训练人工神经网络。对网络中所有权重计算损失函数的梯度,并将梯度反馈给最优化方法以更新权值以最小化损失函数。
数学核心:微积分。用链式法则对每层迭代计算梯度,要求激励函数可微(如sigmoid)。
算法:在阈值调整过程中,当前层的阈值梯度取决于下一层的阈值梯度;当前层的连接权值梯度,取决于当前层神经元阈值梯度和上层神经元输出
学习模式:在线、批量、随机。在线和随机学习在每次传播后都立即更新权重。随机和批量使用静态型态的训练集合。随机以随机的顺序经过数据集合以减少局部极小值,速度比批量快。
限制:局部极小值、收敛慢且不保证收敛,无需输入向量标准化