1. ReLu. 当使用ReLu激活函数时， 需要使用正态分布的初始化方法，给参数加一点噪声，来打破完全对称并且避免0梯度。有时还需要给偏置附上一些小的非0值来避免dead neuron，比如0.1。
2. Softmax. 当使用Softmax激活函数时，因为Sigmoid在0附近最敏感，梯度最大，所以可以将权重W和偏置b全部初始化为0.
不同激活函数与对应的初始化方法
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
推荐阅读更多精彩内容
- （第一部分 机器学习基础）第01章 机器学习概览第02章 一个完整的机器学习项目（上）第02章 一个完整的机器学习...
- 笔记参考：https://zhuanlan.zhihu.com/p/21407711?refer=intellig...
- 关键词： 激活函数；深度学习；Sigmoid；ReLU；Tanh；Swish中文翻译网址英文原文网址 本文从激活函...
