PyTorch 激活函数图形汇总

Sigmoid

torch.nn.Sigmoid

公式

图形

优点：

用于二元分类的激活函数。

缺点：

梯度消失：当输入 x>5 或 x < -5 时，变化太缓慢，导数接近0，根据后向传递的数学依据是微积分求导的链式法则，当前导数需要之前各层导数的乘积，几个比较小的数相乘，导数结果很接近0，从而无法完成深层网络的训练。
Sigmoid的输出不是0均值的：这会导致后层的神经元的输入是非0均值的信号，这会对梯度产生影响。以 f=sigmoid(wx+b)为例，假设输入均为正数（或负数），那么对w的导数总是正数（或负数），这样在反向传播过程中要么都往正方向更新，要么都往负方向更新，导致有一种捆绑效果，使得收敛缓慢。
幂运算相对耗时。

Tanh

torch.nn.Tanh

公式

图形

优点：

Sigmoid的变种，改善的是tanh函数将输出值映射到了-1到1之间，因此它是0均值的了。

缺点：

同样存在梯度消失和幂运算的问题。

Softsign

torch.nn.Softsign

公式

图片

优点：

Tanh的变种，解决了幂运算问题。

缺点：

还存在梯度消失问题，但梯度消失的区间变宽了，适当调整输入数据区间，还是可以获得可观的梯度。

ReLU

torch.nn.ReLU(inplace=False)
ReLU(x)=max(0,x)

图片

优点：

收敛速度比 sigmoid 和 tanh 快；（梯度不会饱和，解决了梯度消失问题）
计算复杂度低，不需要进行指数运算

缺点：

输出不是0均值的；
Dead ReLU Problem(神经元坏死现象)：某些神经元可能永远不会被激活，导致相应参数不会被更新(在负数部分，梯度为0)。产生这种现象的两个原因：参数初始化问题；learning rate太高导致在训练过程中参数更新太大。解决办法：采用Xavier初始化方法；以及避免将learning rate设置太大或使用adagrad等自动调节learning rate的算法。
ReLu不会对数据做幅度压缩，所以数据的幅度会随着模型层数的增加不断扩张。

LeakyReLU

torch.nn.LeakyReLU(negative_slope=0.01, inplace=False)

公式

negative_slope 调整 x<0 部分的斜率

negative_slope=0.01(默认)

图片

negative_slope=2.7

图片

优点：

Relu变种，处理了负值的情况，并解决Relu神经元坏死。

缺点：

不会对数据做幅度压缩

PReLU

torch.nn.PReLU(num_parameters=1, init=0.25)

公式

其中a 是一个可学习的参数，当不带参数调用时，即nn.PReLU()，在所有的输入通道上使用同一个a，当带参数调用时，即nn.PReLU(nChannels)，在每一个通道上学习一个单独的a。
注意：当为了获得好的performance学习一个a时，不要使用weight decay。
num_parameters：要学习的a的个数，默认1
init：a的初始值，默认0.25
图形和LeakyReLU 类似
init=0.25(默认)

图片

init=2

图片

ELU

torch.nn.ELU(alpha=1.0, inplace=False)
ELU(x)=max(0,x)+min(0,α∗(exp(x)−1))

alpha 调整 x<0 的部分

alpha=1(默认)

图片

alpha=3

图片

优点：

ReLU变种，解决Relu神经元坏死，均值为0的输出、而且处处一阶可导

缺点：

幂运算问题消耗比ReLU大

CELU

torch.nn.CELU(alpha=1.0, inplace=False)
CELU(x)=max(0,x)+min(0,α∗(exp(x/α)−1))

`ELU`变种，相对于`ELU`转折处更平滑

alpha=1 时和ELUalpha=1 一致
alpha=3

图片

SELU

torch.nn.SELU(inplace=False)
SELU(x)=scale∗(max(0,x)+min(0,α∗(exp(x)−1)))
α=1.6732632423543772848170429916717
scale=1.0507009873554804934193349852946