[激活函数]饱和函数和非饱和激活函数

参考链接：饱和和非饱和激活函数

右饱和：

当 x 趋向于正无穷大时，导数值趋近于 0

左饱和：

当 x 趋向于负无穷大，导数值趋近于 0

饱和激活函数：当满足右饱和和左饱和时，称作饱和激活函数，分别有 Sigmoid 和 tanh 

非饱和激活函数：只满足右饱和或左饱和中的一个，或都不满足，则称作非饱和激活函数，有 ReLU 及其他的变种

非饱和激活函数的优点：

1、解决梯度消失的问题，以 ReLU 为例，当 x 小于等于 0 时，ReLU 的梯度为 0，但是当 x 大于 0 时，ReLU 的梯度恒为 1，这样即使是 N 层的梯度相乘，也还是 1，即不会产生梯度消失问题

2、加快收敛速度，同样以 ReLU 为例，由于在训练的过程中 ReLU 产生的梯度不会越来越小，因此有利于网络更快地收敛