激活函数在设计神经网络上很关键。隐藏层的激活函数影响的是学习，输出层影响的是输出。
概述：
1.激活函数
2.隐藏层的激活函数
3.输出层的激活函数
激活函数
激活函数定义了输入的加权和是如何被转化成输出的。
一个神经网络通常有三个部分：输入层，隐藏层，输出层。
所有隐藏层的激活函数一般相同，输出层一般不同。激活函数一般可微。
隐藏层的激活函数
Rectified Linear Activation (ReLU)
Logistic (Sigmoid)
Hyperbolic Tangent (Tanh)
ReLU：max(0.0, x)
from matplotlib import pyplot
# rectified linear function
def rectified(x):
return max(0.0, x)
# define input data
inputs = [x for x in range(-10, 10)]
# calculate outputs
outputs = [rectified(x) for x in inputs]
# plot inputs vs outputs
pyplot.plot(inputs, outputs)
pyplot.show()
Sigmoid:1.0 / (1.0 + e^-x)
# example plot for the sigmoid activation function
from math import exp
from matplotlib import pyplot
# sigmoid activation function
def sigmoid(x):
return 1.0 / (1.0 + exp(-x))
# define input data
inputs = [x for x in range(-10, 10)]
# calculate outputs
outputs = [sigmoid(x) for x in inputs]
# plot inputs vs outputs
pyplot.plot(inputs, outputs)
pyplot.show()
tanh:
# example plot for the tanh activation function
from math import exp
from matplotlib import pyplot
# tanh activation function
def tanh(x):
return (exp(x) - exp(-x)) / (exp(x) + exp(-x))
# define input data
inputs = [x for x in range(-10, 10)]
# calculate outputs
outputs = [tanh(x) for x in inputs]
# plot inputs vs outputs
pyplot.plot(inputs, outputs)
pyplot.show()
如何选择一个隐藏层激活函数：
image.png
输出层
Linear
Logistic (Sigmoid)
Softmax
线形的并不改变什么，而是直接返回值。
# example plot for the linear activation function
from matplotlib import pyplot
# linear activation function
def linear(x):
return x
# define input data
inputs = [x for x in range(-10, 10)]
# calculate outputs
outputs = [linear(x) for x in inputs]
# plot inputs vs outputs
pyplot.plot(inputs, outputs)
pyplot.show()
softmax和概率相关
sigmoid
如何选择：
回归问题用线性，
Binary Classification: One node, sigmoid activation.
Multiclass Classification: One node per class, softmax activation.
image.png
