激活函数比较

参考资料：
CS231n 课件6

  • sigmoid的缺点

1、sigmoid在中心点之外的区域变化不大，很多节点很难进行调整，因为调整了在当前节点变化很小，到最终也是变化很小。


2、输出都为正，那么下一层对W求导，也就是上一层的sigmoid输出都是正的，




数据预处理的时候也要进行预处理


3、exp计算代价比较大

  • tanh

  • Relu


  • Leaky ReLU

  • ELU

要有一段变化不那么大的，以增加系统的鲁棒性，但不能是dead。


  • Maxout “Neuron”

  • 实际操作

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容