什么是激活函数
如下图所示：f 则表示激活函数
完整的神经元通常由线性部分和非线性部分组成。如上图所示：
x 表示输入向量。
w 表示权重向量。
b 表示偏移向量。
f 表示激活函数或者激励函数。
y 表示输出向量。
激活函数的作用
现实生活中很多问题之间并非只是简单的线性关系，更多存在的是非线性问题。激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。
常用激活函数
sigmoid函数
Tanh函数
ReLU函数
1、sigmoid函数
公式：
曲线：
2、Tanh函数
公式：
曲线：
3、ReLU函数
公式：
曲线：
