神经元模型
神经网络（neural networks）定义为：神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。
神经网络中最基本的成分是神经元（neuron）模型，其中最典型的是“M-P神经元模型”，其由多个输入信号，神经元模型通过将输入信号在加权求和，然后与该神经元阈值比较，通过激活函数（activation function）处理后产生结果输出。
理想的激活函数为阶跃函数，但是为避免其不连续不光滑的性质，常用Sigmoid函数代替作为激活函数，由于其将输入值挤压到了(0,1)的输出范围，因此也称挤压函数（squashing function）
把许多个这样的神经元按一定的层次结构连接起来,就得到了神经网络
感知机与多层网络
感知机（Perceptron）由两层神经元组成，输入层接收外界输入信号后传递给输出层，输岀层是M-P神经元，亦称阈值逻辑单元（threshold logic unit）
- 感知机能够很简单的实现逻辑与、或、非运算
- 通过训练集可以对感知机进行训练，训练的过程即对阈值参数、权重参数进行调整的过程，其中η称学习率（learning rate）
感知机只拥有单层功能神经元（functional neuron），只能解决线性可分（linearly separable）问题，感知机在处理线性可分问题的过程中一定会收敛（converge），对于非线性可分问题则会发生振荡（fluctuation）：
要解决非线性可分问题，需要考虑多层功能神经元，输出层与输入层之间的层神经元，称隐层或隐含层（hidden layer），隐含层和输出层神经元都是拥有激活函数的功能神经元。比如使用两层功能神经元解决异或问题：
多层前馈神经网络（multi-layer feedforward neural networks）
多层前馈神经网络（multi-layer feedforward neural networks）由输入层、输入层和隐层组成，其中输入层神经元接收外界输入，隐层与输出层神经元对信号进行加工，最终结果由输出层神经元输出。每层神经元与下层神经元全互连，神经元之间不存在同层连接，也不存在跨层连接。
多层前馈神经网络的训练过程即调整各个神经元结构中的阈值与神经元之间的连接权（connection weight）的过程
误差逆传播算法
误差逆传播（error BackPropagation，BP）算法是一种多层网络的训练过程的调整参数的算法，一般的神经网络大多是使用BP算法训练的，因此也称BP网络
上图中的网络有(d+l+1)q+l个参数需确定：输入层到隐层的d×q个权值、隐层到输出层的q×l个权值、q个隐层神经元的阈值、l个输出层神经元的阈值。
标准BP算法
标准BP算法每次仅针对一个训练样例更新连接权和阈值，其更新规则是基于单个的均方误差推导而得。
对于训练样例(xk,yk)，设神经网络的输出为
则该网络在样例(xk,yk)上的均方误差为
BP是一个迭代学习算法，在迭代的每一轮中采用广义的感知机学习规则对参数进行更新估计，任意参数v的更新估计式为：
链式求导法则
BP算法基于梯度下降（gradient descent）策略，以目标的负梯度方向对参数进行调整。因此对于任意参数v，均方误差Ek均可以对其求偏导从而得到梯度，当v与输出层有多个层次间隔时，需要使用链式求导法则求得梯度。
积累误差逆传播算法
累积误差逆传播（accumulated error backpropagation）算法是基于累积误差最小化的更新规则。
- 标准BP算法每次更新只针对单个样例，参数更新得非常频繁，对不同样例进行更新的效果可能出现“抵消”现象。为了达到同样的累积误差极小点，标准BP算法往往需进行更多次数的迭代。
- 累积BP算法直接针对累积误差最小化，在读取整个训练集D一遍后才对参数进行更新，其参数更新的频率低得多。
- 在很多任务中，累积误差下降到一定程度之后，进步下降会非常缓慢，标准BP往往会更快获得较好的解，尤其是在训练集D非常大时更明显。
BP神经网络的过拟合问题
可以使用两种策略缓解BP网络的过拟合问题：
- 早停（early stopping）：将数据分成训练集和验证集，训练集用来计算梯度、更新连接权和阙值，验证集用来估计误差，若训练集误差降低但验证集误差升高，则停止训练，同时返回具有最小验证集误差的连接权和阈值
- 正则化（regularization）：在误差目标函数中增加一个用于描述网络复杂度的部分
局部极小与全局最小
当在寻找函数的全局最小值时，由于算法问题被困在了局部极小值处，无法跳出局部极小的情况称为“参数寻优陷入了局部极小”，为了跳出局部极小，可以有以下一些解决方案：
- 以多组不同参数值初始化多个神经网络，按标准方法训练后，取其中误差最小的解作为最终参数。
- 使用模拟退火（simulated annealing）技术，模拟退火在每一步都以一定的概率接受比当前解更差的结果，从而有助于跳出局部极小。
- 使用随机梯度下降。随机梯度下降法在计算梯度时加入了随机因素。即便陷入局部极小点，计算出的梯度仍可能不为零，有机会跳出局部极小继续搜索。
全文参考：周志华 著 《机器学习》
转载请注明出处，本文永久更新链接：小天才的杂货铺-个人博客
