此篇只归纳人工神经网络的一些基本概念
概念
人工神经网络（Artificial Neural Network，即ANN ），是20世纪80 年代以来人工智能领域兴起的研究热点，可以说是深度学习的基础。它从信息处理角度对人脑神经元网络进行抽象， 建立某种简单模型，按不同的连接方式组成不同的网络。
神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重。
经典神经网络结构图
下图展示了神经网络的结构图，这个可能是比较主流的，还有caffe的结构图形式，就不放出来了，理解一个就好：
1.设计一个神经网络时，输入层与输出层的节点数往往是固定的，中间层则可以自由指定。
2.神经网络结构图中的拓扑与箭头代表着预测过程时数据的流向，跟训练时的数据流有一定的区别
3.结构图里的关键不是圆圈（代表“神经元”），而是连接线（代表“神经元”之间的连接）。每个连接线对应一个不同的权重（其值称为权值），相当于人工神经网络的记忆，这是需要训练得到的。
基本特征
1.非线性
先来解释一下线性和非线性：线性关系，指量与量之间按比例、成直线的关系，在空间和时间上代表规则和光滑的运动。而非线性关系，指不按比例、不成直线的关系，一般代表不规则的运动和突变。
人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性关系。具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。
2.非局限性
一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局限性。
举个栗子：联想记忆是记忆的一种形式。通过与其他的知识单元的联系进行的记忆。相互之间存在联系的形式或概念构成知识在记忆中的具体形态。联想记忆就是各个知识单元之间的相互作用和连接所形成。这种不是单个知识单元作用而成的，就可以理解为是非局限性。
3.非常定性
人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。
并且，由于神经网络是采用整体逼近的方式，不会由于个别样本误差而影响整个模型特性，这就是所谓容错特性。举个栗子：一个婴儿，父母不断教他说话，他最终能学习理解父母语言的意思，并且偶尔父母说错一两个字，孩子也能听懂。
4.非凸性
一个系统的演化方向，在一定条件下将取决于某个特定的状态函数。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。
发展历程
