神经网络是一种运算模型，有大量的节点（或称为神经元或单元）和相关之间的加权连接构成。
QQ截图20140828175423.jpg
节点——代表一种特定的输出函数（激励函数（activation function））；
节点之间的连接方式——权重（weight），相当于神经网络的记忆（网络中最重要的信息）。
网络——对自然界中某种算法或者函数的逼近，也可能是以一种逻辑策略的表达。
神经网络的特点
- 非线性：激活和抑制状态。
- 非局限性：神经元的个数可无限增加。
- 非常定性：系统总在迭代变换演进过程中。
- 非凸性：状态函数（比如能量函数）有多个极值，故系统有过个较稳定状态，也就是多样性。
神经网络模型
（1）生物神经元 --> 人工神经元
- 细胞体和轴突 ---- 传递函数、输出
（2）生物神经网络 --> 人工神经网络
- 神经元之间的突触连接强度 ---- 权重
传递函数种类：hardlimi, purelin, Sigmoid (logsig), Gaussion Radial base function...
对于大多数神经网络来说，在网络运行的时候，传递函数一旦选定就保持不变，而权重的动态修改是学习中最基本的过程。
神经网络的训练
网络不是通过修改处理单元本身完成训练过程，而是靠改变网络中连接的权重来学习的。
学习和训练并不完全相同：
训练：神经网络的学习过程，外部过程；
学习：是上述过程的结果，是网络内部过程。
