各种激活函数的问题

Sigmoid 函数：

容易饱和，，

没有0中心化








注意ReLU 缺点，，，








Leaky ReLU,,,Maxout,,

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容

  • 激活函数
    日常 coding 中，我们会很自然的使用一些激活函数，比如：sigmoid、ReLU等等。不过好像忘了问自己一(...
    MiracleJQ阅读 996评论 0赞 0
  • 深度学习中的激活函数
    激活函数的作用 摘自：https://www.zhihu.com/question/22334626 激活函数(A...
    郭少悲阅读 3,924评论 0赞 1
  • 一文概览深度学习中的激活函数（转）
    关键词： 激活函数；深度学习；Sigmoid；ReLU；Tanh；Swish中文翻译网址英文原文网址 本文从激活函...
    generalz阅读 2,283评论 0赞 6
  • 常用的激活函数
    激活函数的作用 激活函数的作用是能够给神经网络加入一些非线性因素，使得神经网络可以更好地解决较为复杂的问题。我们知...
    WZFish0408阅读 2,085评论 0赞 0
  • 你不懂我为啥伤心！
    我们总有很多喜欢的往事，美食。对于一个吃货来说，说到好吃的就同见到喜欢的异性，表现出来的是兴奋，流口水，最让...
    Rose紫墨红颜阅读 401评论 5赞 0