人工神经网络（ANN）简称神经网络（NN），是基于生物学的神经网络基本原理，外界的刺激人脑反应机制，用网络拓扑知识为理论基础，模拟人脑对信息处理机制的模型。
神经网络由大量的神经元（节点）构成，每个节点实际上是一个输出函数。节点之间用不同的权重连接。神经元的处理单位可以是特征，字母。
深度学习，2006年提出，大规模数据训练，打破了传统神经网络对于层数的限制。
神经网络是这样模仿大脑的：
（1）input是从外界获取的
（2）内部神经元的连接强度，weight，用来存储获取的知识
(3)神经网络的训练过程就是改变权值矩阵的过程
input
output
激活函数：
阈值型、线性函数、对数型函数、双曲正切S型函数
神经元之间的连接方式：
（1）前向网络
第i层的神经元只接受第i-1层神经元给出的信号（网络结构为有向无环图）
（2）反馈网络：
每个节点都表示一个计算单元，同时接受外加输入和其它各节点的反馈输入，每个节点也都直接向外部输出。网络结构是一张完全的无向图。
