Tensorflow基础6-关于激活函数的一些理解

传统的, 经典的激活函数:
softmax
sigmoid
tanh
ReLU -- 出奇的简单
softplus

QQ截图20170420174845.jpg

记得周大神说过，激活函数的作用是：让某一部分的神经元先激活出来，然后传到后面层的神经元
比如说：一个猫的研究，一个车的轮胎
如果A层学习提取到这个特征，那么就会把这个特征传给下一层B层

layer1 ----传过来的值---激活函数 -----layer2

2.jpg

激活函数大全
神经网络-ReLU，cross-entropy-and-softmax
为什么使用 ReLU
ReLU

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

相关阅读更多精彩内容

  • 深度学习的需要了解的一些术语
    激活函数（Activation Function） 为了让神经网络能够学习复杂的决策边界（decision bou...
    御风之星阅读 5,508评论 0赞 8
  • CS231n (winter 2016) : Assignment1
    前言： 以斯坦福cs231n课程的python编程任务为主线，展开对该课程主要内容的理解和部分数学推导。该课程的学...
    Deepool阅读 49,841评论 33赞 88
  • 浅谈语音识别基础
    承接前面的《浅谈机器学习基础》、《浅谈深度学习基础》和《浅谈自然语言处理基础》，主要参考了《解析深度学习:语音识别...
    我偏笑_NSNirvana阅读 24,078评论 6赞 66
  • 一只
    熊大利是在一个冬天醒来的，世界是白色的。 那是那一年的第一场雪，连续下了七天。 熊大利醒来，雪便停了。 没有道理，...
    三又又阅读 186评论 0赞 0
  • 2016年2月7日   34号高慧军   打卡
    《备好课的教学艺术》总结了备教育，备教材，备资源，备学生，备过程，备方法等、影响备课质量的一般元素和主要方面，理论...
    青云天阅读 224评论 0赞 0

友情链接更多精彩内容