前言
因为Sigmod函数的梯度有可能会下降很慢。甚至梯度消失。在分类的时候很多都使用这个Relu激励函数，尤其是深度学习中。
简介
线性整流函数（Rectified Linear Unit, ReLU），Relu激励函数，也称“热鲁”激励函数。是一种人工神经网络中常见的激活函数。相比于Sigmoid函数，
Relu函数的优点：
梯度不饱和。梯度计算公式为：1{x>0}。因此在反向传播过程中，减轻了梯度弥散的问题，神经网络前几层的参数也可以很快的更新。
计算速度快。正向传播过程中，sigmoid和tanh函数计算激活值时需要计算指数，而Relu函数仅需要设置阈值。如果x<0,f(x)=0，如果x>0,f(x)=x。加快了正向传播的计算速度。
函数表达式
f(x)=max(o,x)
在神经元中输出为：
image.png
是不是很简单。
函数图像
image.png
代码
def ReLU(z): return T.maximum(0.0, z)
