目录
- sigmoid 函数
- tanh函数
- relu 函数
- softplus 函数
- leakrelu 函数
- ELU 函数
- SELU函数
1.sigmoid 函数
这是传统的神经网络中常用的激活函数之一。
公式：
图像：
- 优点：它输出映射在
内，单调连续，非常适合用作输出层，并且求导比较容易；
- 缺点：具有软饱和性，一旦输入落入饱和区，一阶导数就变得接近于
，很容易产生梯度消失。
- 饱和性：当
时，其中
为某常数，此时一阶导数等于
2. tanh函数
tanh也是传统神经网络中比较常用的激活函数。
公式：
图像：
3. relu 函数
relu函数是目前用的最多也是最受欢迎的激活函数。
公式：
图像：
由上图的函数图像可以知道，
除了本身外，TensorFlow还定义了
，也就是定义在
的
,以及
,也就是
.
4. softplus 函数
softplus函数可以看作是relu函数的平滑版本
公式：
图像：
5. leakrelu 函数
leakrelu函数是relu激活函数的改进版本，解决部分输入会落到硬饱和区，导致对应的权重无法更新的问题。
公式：
图像：
左边缩小方差，右边保持方差；方差整体还是缩小的，而均值得不到保障。
6. ELU 函数
公式：
图像：
7. SELU函数
最近的自归一化网络中提出，函数和图像如下
公式：
图像：
蓝色是：selu，橙色是：elu
左边缩小方差，右边放大方差，适当选取参数alpha和lambda，使得整体上保持方差与期望。如果选取：
lambda=1.0506，alpha=1.67326，那么可以验证如果输入的x是服从标准正态分布，那么SELU(x)的期望为0，方差为1.
