深层神经网络简单介绍(3)

1/深层神经网络的梯度不稳定问题:

参见:  http://blog.csdn.net/lujiandong1/article/details/52711501

(上文链接讲解了深层神经网络的梯度不稳定,即:梯度消失和梯度爆炸)

2/深层神经网络梯度不稳定的缓解方法:

谨慎的选择初始化参数可以一定程度上缓解梯度不稳定的问题.比如:Xavier初始化.

参见: http://blog.csdn.net/shuzfan/article/details/51338178

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容

  • 神经网络
    引言 机器学习栏目记录我在学习Machine Learning过程的一些心得笔记，涵盖线性回归、逻辑回归、Soft...
    hfk阅读 4,422评论 4赞 18
  • 榕融的套路
    爷爷剥莲蓬给榕融吃，榕融夸道： “这个莲蓬超嫩诶！” 又剥一个。 “这个莲蓬超老！” 爷爷笑问： “榕融是超嫩还是...
    泥生莲阅读 262评论 2赞 1
  • VS 发布 signtool.exe 找不到
    找signtool.exe来复制到C:\Program Files (x86)\Microsoft SDKs\Wi...
    西门吹牛々阅读 849评论 0赞 0
  • 哪些书能让你不嗑药也一样high
    “书中自有黄金屋，书中自有颜如玉”，这像是一句在坟墓里埋了几百年的陈词滥调。倒不妨用另一种眼光来打量这句话，意思是...
    萌之刺刺阅读 888评论 0赞 5
  • 根据手势或双击缩放的ImageView
    新年好！新的一年，新的征程！小伙伴们，继续奋斗...这两天看了一些关于"手势"的文章，想记录下学到的一些知识点，慢...
    Serenity那年阅读 3,461评论 4赞 12