一 、神经元模型
神经元接收到来自n个其他神经元传递过来的输入信号， 这些输入信号通过带权重的连接进行传递， 神经元接收到的总输入值将与神经元的阈值进行比较，然后通过“ 激活函数”（activation function) 处理以产生神经元的输出。典型的激活函数是阶跃函数，但是其具有不连续、不光滑等不好的性质，因此实际常用Sigmoid函数进行替代。
来源：周志华《机器学习》p98
二、感知机与多层网络
感知机(Perceptron)由两层神经元组成， 输入层接收外界输入信号后传递给输出层， 输出层是 M-P 神经元， 亦称 “ 阈值逻辑单元”(threshold logic unit)。
周志华《机器学习》p99
更一般地,给定训练数据集， 权重(i = 1,2,...,n) 以及阈值
可通过学习得到。阈值
可看作一个固定输入为-1.0 的“哑结点” (dummy node)所对应的连接权重
。可以用对于逻辑与、或、非运算的实现来理解这个问题。
感知机无法解决线性可分问题，所以需要考虑使用多层功能神经元。这种结构中，输出层与输入层之间有一层神经元，被称为隐层或隐含层(hidden layer)，隐含层和输出层神经元都是拥有激活函数的功能神经元。
常见的神经网络是形如图 5.6 所示的层级结构，每层神经元与下一层神经元全互连，神经元之间不存在同层连接， 也不存在跨层连接. 这样的神经网络结构通常称为 “多层前馈神经网络”（multi-layer feedforward neural networks）。其中输入层神经元接收外界输入， 隐层与输出层神经元对信号进行加工，最终结果由输出层输出。
