BP算法

BP算法:误差反向传播算法。通过比较输出值与标记值,将误差反向由输出层向输入层传播,利用梯度下降算法进行参数调整。用于训练人工神经网络。对网络中所有权重计算损失函数的梯度,并将梯度反馈给最优化方法以更新权值以最小化损失函数。

数学核心:微积分。用链式法则对每层迭代计算梯度,要求激励函数可微(如sigmoid)。

算法:在阈值调整过程中,当前层的阈值梯度取决于下一层的阈值梯度;当前层的连接权值梯度,取决于当前层神经元阈值梯度和上层神经元输出

算法

学习模式:在线、批量、随机。在线和随机学习在每次传播后都立即更新权重。随机和批量使用静态型态的训练集合。随机以随机的顺序经过数据集合以减少局部极小值,速度比批量快。

限制:局部极小值、收敛慢且不保证收敛,无需输入向量标准化

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容