激活函数作用

1、激活函数作用

解决不能用线性方程概括的问题

感知机原方程：(线性）

y = Wx

添加激活函数：(非线性化）

y = ActiveFunction(Wx)

注意：激活函数必须可微分，因为反向传播的时候需要链式求导

2、激活函数概览：

    sigmoid

\sigma (z)=1/(1+e^{-z})


sigmoid

在多层神经网络中不推荐使用会导致梯度消失

3、ReLU

普通的ReLU负数端斜率是0，Leaky ReLU则是负数端有一个比较小的斜率，而PReLU则是在后向传播中学习到斜率。而Randomized Leaky ReLU则是使用一个均匀分布在训练的时候随机生成斜率，在测试的时候使用均值斜率来计算。

ReLU


relu

LReLU


LReLU


PReLu


CReLU


ELU


©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容