python画出激活函数 sigmoid，tanh，Relu

sigmoid函数

f(x)= 1 / （1+ e^(-x)）
sigmoid函数

tanh函数![tanh函数](http://upload-images.jianshu.io/upload_images/9516250-3c2364cfe14347cf.png? imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

两者都能为神经网络提供非线性组合以逼近任意函数，但是在都会出现梯度消失或者梯度爆炸的情况，而且计算比较复杂。

区别在于tanh函数的取值范围是（-1,1）而sigmoid的取值范围是（0,1），相比sigmoid，tanh能提供负激励的效果。

RELU函数
Relu函数

Relu的有点在于计算简单，梯度稳定，也可以表现出抑制的效果

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容