由感知机到神经网络
感知机是经由加权信号与偏置的和决定输出信号；神经网络在感知机的基础上加了一个激活函数，即 加权信号与偏置的和 再经过激活函数，才输出信号。
用公式表示：
激活函数
激活函数以阈值为界，超过阈值切换输出。激活函数也被称为“阶跃函数”。
需要注意的是神经网络的激活函数必须是非线性函数。原因是线性函数没有办法发挥多层神经网络的优势。不管线程函数的层级是多少，总能找到一个简单的“神经元”来替代它。
sigmod函数
在神经网络的早期常用的激活函数式sigmod函数，其公式如下：
对应的图形如下：
sigmoid函数.png
这里需要注意的是，sigmoid函数是一条平滑的曲线，其返回值可以是连续实数。对应感知机中的0和1的输出，神经网络中流动的是连续的实数值信号。
ReLU函数
不同于早期使用sigmoid作为激活函数，现在则主要使用ReLU函数作为激活函数。其公式为
其图形如下：
ReLU函数.png
神经网络内积
在实现神经网络时，需要输入信号、权重以及输出信号的shape。
神经网络内积.jpg
