神经元模型
神经网络
由具有适应性的简单单元组成的广泛、并行、互连的网络，它的组织能够模拟生物神经系统，对真实世界物体所作出的交互反应
神经元模型（简单单元）
M-P 神经元模型
神经元接收到来自 n 个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接进行传递。神经元接收到的总输入值将与神经元的阀值进行比较，然后通过“激活函数”处理以产生神经元的输出
image.png
感知机与多层网络
感知机
由两层神经元组成。输入层接收外界输入信号后传递给输出层， 输出层是 M-P 神经元，亦称“阔值逻辑单元”
感知机能容易地实现逻辑与、或、非运算（线性可分）
缺点：
感知机只有输出层神经元进行激活函数处理，即只拥有一层功能神经元，其学习能力非常有限
不能解决非线性可分问题
多层前馈神经网络
每层神经元与下一层神经元全互连，神经元之间不存在同层连接， 也不存在跨层连接
输入：输入层神经元接收外界输入
过程：隐层（输出层与输入层之间的一层神经元）与输出层神经元对信号进行加工
输出：最终结果由输出层神经元输出
神经网络“学”到的东西，蕴涵在连接权与阙值中
标准 BP 算法与累积 BP 算法
- 标准 BP 算法：
每次仅针对一个训练样例更新连接权与阈值
参数更新非常频繁，而且对不同样例进行更新的效果可能出现“抵消”现象 - 累积 BP 算法：
针对累积误差最小化，它在读取整个训练集 D 一遍后才对参数进行更新
参数更新的频率低得多
缓和 BP 网络的过拟合策略
- 早停
将数据分成训练集和验证集，训练集用来计算梯度、更新连接权和阈值，验证集用来估计误差，若训练集误差降低但验证集误差升高，则停止训练，同时返回具有最小验证集误差的连接权和阈值 - 正规则
在误差目标函数中增加一个用于描述网络复杂度的部分
全局最小与局部极小 - 局部极小解
参数空间中的某个点，其邻域点的误差函数值均不小于该点的函数值
可能存在多个 - 全局最小解
参数空间中所有点的误差函数值均不小于该点的误差函数值
全局唯一
