在之前的感知机中，虽然它有着理论上能表示很多复杂函数的可能，但是设定权重等都是人工进行的。
而神经网络的出现就是为了解决这个问题，神经网络是可以自动地从数据中学习到合适的权重参数。
一，从感知机到神经网络
1.1 神经网络介绍
如下图所示，是一个简单的神经网络图
我们把最左边的一列称为输入层，最右边的一列称为输出层，中间的一列称为中间层（有时也称为隐藏层）。
为了方便，我们把输入层称为第0层，向右依次增大
1.2 引出激活函数
之前感知机的式子表达如下：
若将b也画出来，那么应该是一个固定的b，输入为1，权重系数为b，如下所示
若再将感知机的式子改写成两个：
对于式2来说，它就是把将输入信号的总和转换为输出信号，总和小于等于0就输出0，大于0就输出1，我们把这种函数称为激活函数
如果用图来表示，激活函数起到的作用可以看下图：
图中，信号的总和到a，然后a再应用
二，激活函数
如式2所示的函数，称为阶跃函数
阶跃函数以0为界，输出从0切换为1
2.1 sigmoid函数
也是最经常使用的，公式如下
图像如下所示
如果和阶跃函数对比，首先注意到的是“平滑性”的不同。sigmoid函数是一条平滑的曲线，输出随着输入发生连续性的变化。而阶跃函数以0为界，输出发生急剧性的变化。
这个平滑性也就是说，感知机中神经元之间流动的是0或1的二元信号，而神经网络中流动的是连续的实数值信号。
假如用代码来表示，如下所示：
def sigmoid(x):
return 1 / (1 + np.exp(-x))
2.2 非线性函数
sigmoid函数和阶跃函数都是非线性函数，在神经网络中，使用线性函数后，无论怎么加深层数，模型还是线性的。所以，为了发挥叠加层所带来的优势，激活函数必须使用非线性函数。
2.3 ReLU函数
ReLU函数在输入大于0时，直接输出该值；在输入小于等于0时，输出0
图像如下所示
用代码来表示为
def relu(x):
return np.maximum(0, x)
三，3层神经网络的实现
要实现如下图所示的3层神经网络的从输入到输出的处理
3层神经网络：输入层（第0层）有2个神经元，第1个隐藏层（第1层）有3个神经元，第2个隐藏层（第2层）有2个神经元，输出层（第3层）有2个神经元
3.1 符号确认
因为一个字符涉及到的表达维度太多，所以需要介绍一下写法代表的意思，如中，各个数字表达的意思如下：
权重和隐藏层的神经元的右上角有一个“(1)”，它表示权重和神经元的层号。权重的右下角有两个数字，它们是后一层的神经元和前一层的神经元的索引号
3.2 各层间信号传递的实现
从输入层到第1层的第1个神经元的信号传递过程如下：
b的右下角索引只有一个的原因是因为偏置神经元只有1个，结合图中可知，的算法如下：
而如果我们要表示第1层的计算结果，可以使用矩阵的乘法运算来表示
、
、
、
如下所示
此时使用Numpy多维数组来实现，先将输入信号、权重、偏置设置成任意值。
X = np.array([1.0, 0.5])
W1 = np.array([[0.1, 0.3, 0.5], [0.2, 0.4, 0.6]])
B1 = np.array([0.1, 0.2, 0.3])
print(W1.shape) # (2, 3)
print(X.shape) # (2,)
print(B1.shape) # (3,)
A1 = np.dot(X, W1) + B1
计算出来加权和后，进入到激活函数的计算过程，用图来表示如下所示
此时假如使用sigmoid函数（之前已定义）作为激活函数，用代码表示如下：
Z1 = sigmoid(A1)
print(A1) # [0.3, 0.7, 1.1]
print(Z1) # [0.57444252, 0.66818777, 0.75026011]
再实现第1层到第2层的信号传递
除了第1层的输出（Z1）变成了第2层的输入这一点以外，其他的和刚才相同，用代码表示
W2 = np.array([[0.1, 0.4], [0.2, 0.5], [0.3, 0.6]])
B2 = np.array([0.1, 0.2])
print(Z1.shape) # (3,)
print(W2.shape) # (3, 2)
print(B2.shape) # (2,)
A2 = np.dot(Z1, W2) + B2
Z2 = sigmoid(A2)
最后是第2层到输出层的信号传递。
此处只有最后的激活函数有点差别，因为此处要输出什么结果完全取决于求解需要的结果，一般地，回归问题可以使用恒等函数，二元分类问题可以使用 sigmoid函数，多元分类问题可以使用 softmax函数。
用代码实现如下：
def identity_function(x):
return x
W3 = np.array([[0.1, 0.3], [0.2, 0.4]])
B3 = np.array([0.1, 0.2])
A3 = np.dot(Z2, W3) + B3
Y = identity_function(A3) # 或者Y = A3
3.3 代码小结
已完成了3层神经网络的实现，把完整的代码整理如下：
import numpy as np
def sigmoid(x):
return 1 / (1 + np.exp(-x))
def identity_function(x):
return x
#进行权重和偏置的初始化，并将它们保存在字典变量network中
def init_network():
network = {}
network['W1'] = np.array([[0.1, 0.3, 0.5], [0.2, 0.4, 0.6]])
network['b1'] = np.array([0.1, 0.2, 0.3])
network['W2'] = np.array([[0.1, 0.4], [0.2, 0.5], [0.3, 0.6]])
network['b2'] = np.array([0.1, 0.2])
network['W3'] = np.array([[0.1, 0.3], [0.2, 0.4]])
network['b3'] = np.array([0.1, 0.2])
return network
#封装了将输入信号转换为输出信号的处理过程
def forward(network, x):
W1, W2, W3 = network['W1'], network['W2'], network['W3']
b1, b2, b3 = network['b1'], network['b2'], network['b3']
a1 = np.dot(x, W1) + b1
z1 = sigmoid(a1)
a2 = np.dot(z1, W2) + b2
z2 = sigmoid(a2)
a3 = np.dot(z2, W3) + b3
y = identity_function(a3)
return y
network = init_network()
x = np.array([1.0, 0.5])
y = forward(network, x)
print(y) # [ 0.31682708 0.69627909]
四，输出层的设计
之前有说过输出层的激活函数要根据实际情况改变。一般而言，回归问题用恒等函数，分类问题用softmax函数。这节详细解释一下
4.1 恒等函数和softmax函数
恒等函数会将输入按原样输出，对于输入的信息，不加以任何改动地直接输出。恒等函数进行的转换处理可以用一根箭头来表示。
分类问题中使用的softmax函数可以用下式所示
表示假设输出层共有n个神经元，计算第k个神经元的输出
用python来显示如下所示：
def softmax(a):
c = np.max(a)
exp_a = np.exp(a-C) #防止溢出
sum_exp_a = np.sum(exp_a)
y = exp_a / sum_exp_a
return y
4.2 softmax函数的特征
softmax函数的输出是0.0到1.0之间的实数，而且函数的输出值的总和是1。所以，把softmax函数的输出解释为“概率”。但是，即便使用了softmax函数，各个元素之间的大小关系也不会改变。
而一般而言，神经网络只把输出值最大的神经元所对应的类别作为识别结果。因此，神经网络在进行分类时，输出层的softmax函数可以省略。
4.3 输出层的神经元数量
输出层的神经元数量需要根据待解决的问题来决定。
对于分类问题，输出层的神经元数量一般设定为类别的数量。
