1、神经网络算法
1、1多层向前神经网络（multiplayer feed-foward neural network）
1.1.1 bp算法
1.1.2 多层向前神经网络由输入层，隐藏层，输出层组成
1.1.3 每层由单元（units）组成，单元又叫神经节点。
1.1.4 隐藏层的个数是任意的，输入层和输出层只有一层。
2、设计神经网络结构
2.1 首先应确定神经网络的层数和每层的单元数
2.2 特征向量在输入之前通常要先标准化到0-1之间（为了加速学习过程）
2.3 对于分类问题，输出的单元数往往跟类别数是一样的
3、交叉验证（cross-validation）
k-fold cross validation
取一份作为测试集，k-1份作为训练集，这样我们就重复了k次，取均值
4、BP算法（backpropagation）
4.1 通过迭代性来处理训练集的实例
4.2 对比经过神经网络后的输入层预测值和真实值之间的差值
4.3 反方向更新每个连接的权重
4.4 步骤
4.4.1 初始化权重和偏向（bias）：随机初始化在-1～1之间，或者-0.5～0.5之间，每个单元都有一个偏向。
4.4.2 每个单元先进性线性的回归，再进行非线性转化
