1.1神经元模型
神经网络是由具有适应性的简简单单组成的广泛并行互连的网络，它的组织能够模拟生物神经网络系统对真实世界物体所作出的交互反应。
神经网络中最基本的成分是神经元模型，即上述定义中的“简单单元”。在生物神经网络中，每个神经元与其他神经元相连，当它“兴奋”时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位；如果某神经元的电位超过一个“阀值”，那么它就会被激活，即“兴奋”起来，向其他神经元发送化学物质。
上述的情形抽象为如下图的简单模型，这就是一直沿用至今的“M-P神经元模型”。在这个模型中，神经元接收来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接进行传递，神经元收到到的总输入值将与神经元的阀值进行比较，然后通过“激活函数”（activation function）处理以产生神经元的输出。
理想的激活函数如下图a所示的阶跃函数，它将输入值映射为输出值“0”或“1”，显然“1”对应于神经元兴奋，“0”对应于神经元抑制。然而，阶跃函数具有不连续、不光滑等不太好的性质，因此实际常用Sigmoid函数作为激活函数。典型的Sigmoid函数如图b所示，它把可能在较大范围内变化的输入值挤压到（0,1）输出值范围内，因此有时称为“挤压函数”。
把许多个这样的神经元按一定的层次连接起来，就得到了神经网络。
1.2感知机与多层网络
感知机（Perceptron）由两层神经元组成，如下图所示，输入层接收外界输入信号后传递给输出层，输出层是M-P神经元，亦称“阀值逻辑单元”。
感知机能容易实现逻辑与、或、非运算。注意到
，假定f是上图中的阶跃函数，有
1、
2、
3、
更一般地，给定训练数据集，权重wi（i=1,2,3......）以及阀值可通过学习得到。阀值
可看作一个固定输入为-1.0的“哑结点”所对应的连接权重w_n+1，这样，权重和阀值的学习就可统一为权重的学习。感知机的学习规则非常简单，对训练样例（x，y），若当前感知机的输出为
，则感知机权重将这样调整：
其中（0，1）称为学习率（learning rate）.从上面第一个式子可以看出，若感知机对训练样例（x,y）预测正确，即
=y,则感知机不发生变化，否则将根据错误的权重进行调整。
未完待续。。。。。
