参考：https://blog.csdn.net/kangyi411/article/details/78969642
一 、sigmoid函数
公式：

image.png

1. 当输入稍微远离了坐标原点，函数的梯度就变得很小了，几乎为零。在神经网络反向传播的过程中，通过微分的链式法则来计算各个权重w的微分的。当反向传播经过了sigmod函数，这个链条上的微分就很小了，况且还可能经过很多个sigmod函数，最后会导致权重w对损失函数几乎没影响，这样不利于权重的优化，这个问题叫做梯度饱和，也可以叫梯度弥散。

2. 函数输出不是以0为中心的，这样会使权重更新效率降低。对于这个缺陷，在斯坦福的课程里面有详细的解释。

3. sigmod函数要进行指数运算，这个对于计算机来说是比较慢的。

二、tanh函数

image.png

缺点：在输入很大或是很小的时候，输出都几乎平滑，梯度很小，不利于权重更新；不同的是输出区间，tanh的输出区间是在(-1,1)之间，而且整个函数是以0为中心的，这个特点比sigmod的好。

三、relu函数

image.png

优点：

1. 在输入为正数的时候，不存在梯度饱和问题。
2. 计算速度要快很多。ReLU函数只有线性关系，不管是前向传播还是反向传播，都比sigmod和tanh要快很多。（sigmod和tanh要计算指数，计算速度会比较慢

缺点：

1. 当输入是负数的时候，ReLU是完全不被激活的，这就表明一旦输入到了负数，ReLU就会死掉。这样在前向传播过程中，还不算什么问题，有的区域是敏感的，有的是不敏感的。但是到了反向传播过程中，输入负数，梯度就会完全到0，这个和sigmod函数、tanh函数有一样的问题。
2. 我们发现ReLU函数的输出要么是0，要么是正数，这也就是说，ReLU函数也不是以0为中心的函数。

四、elu函数

image.png

ELU函数是针对ReLU函数的一个改进型，相比于ReLU函数，在输入为负数的情况下，是有一定的输出的，而且这部分输出还具有一定的抗干扰能力。这样可以消除ReLU死掉的问题，不过还是有梯度饱和和指数运算的问题。

五、prelu函数

image.png

PReLU也是针对ReLU的一个改进型，在负数区域内，PReLU有一个很小的斜率，这样也可以避免ReLU死掉的问题。相比于ELU，PReLU在负数区域内是线性运算，斜率虽然小，但是不会趋于0，这算是一定的优势吧。

PReLU的公式里面的参数α一般是取0~1之间的数，而且一般还是比较小的，如零点零几。当α=0.01时，我们叫PReLU为Leaky ReLU，算是PReLU的一种特殊情况吧。

六、python code:

# -*- coding: utf-8 -*-
import numpy as np
import matplotlib.pyplot as plt

#Sigmoid函数
def sigmoid(x):
    return 1/(1+np.exp(-x))

#tanh 函数
def tanh(x):
    return ((np.exp(x)-np.exp(-x))/(np.exp(x)+np.exp(-x)))

#  a if a>b else b先执行中间的if，如果返回True，就是左边，False是右边。
#relu函数
def relu(x):
    # return np.fmax(0,x)
    return np.where(x<0,0,x)

#elu函数
def elu(x):
    a=0.2
    return np.where(x>0,x,a*(np.exp(x)-1))

#prelu函数
def prelu(x):
    a=0.3
    return np.maximum(a*x,x)

x=np.linspace(-10,10,10000)
y1=sigmoid(x)
y2=tanh(x)
y3=relu(x)
y4=elu(x)
y5=prelu(x)
plt.figure(12)
plt.subplot(321)
plt.plot(x,y1)
# plt.title('sigmoid')

plt.text(-8, 0.8, u"sigmoid", color="blue", fontsize=12)
plt.subplot(322)
plt.plot(x,y2)
# plt.title('tanh')
plt.text(-8, 0.8, u"tanh", color="blue", fontsize=12)

plt.subplot(323)
plt.plot(x,y3)
# plt.title('relu')
plt.text(-8, 8, u"relu", color="blue", fontsize=12)

plt.subplot(324)
plt.plot(x,y4,label='elu')
# plt.title('elu',fontsize=12)
plt.text(-8, 8, u"elu", color="blue", fontsize=12)

plt.subplot(313)#3行1列第第3行
plt.plot(x,y5)
# plt.title('prelu')
plt.text(-8, 8, u"prelu", color="blue", fontsize=12)

plt.show()

七、各函数曲线图：

image