反向传播的迭代公式为
其中f是激活函数，常用sigmoid激活函数求导为
导数值域都小于1，误差经过每一层传递都会减小，层数很深的时候，梯度就会不停衰减，甚至消失，使网络很难训练，这就是梯度消失问题。
解决方法：BN，ResNet，权重正则（爆炸），换激活函数
2019-03-18机器学习——梯度消失和爆炸
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
推荐阅读更多精彩内容
- 前言 本文主要深入介绍深度学习中的梯度消失和梯度爆炸的问题以及解决方案。本文分为三部分，第一部分主要直观的介绍深度...
- 1.为什么使用梯度下降来优化神经网络参数？ 反向传播（用于优化神网参数）：根据损失函数计算的误差通过反向传播的方式...
- 第二个Topic讲深度学习，承接前面的《浅谈机器学习基础》。 深度学习简介 前面也提到过，机器学习的本质就是寻找最...
- https://blog.csdn.net/program_developer/article/details/8...
