神经网络是一个适应性很强的模型，在回归问题和分类问题中都有大量的实际应用。由于其模型的多样性，针对不同的场景可衍生出不同的神经网络，神经网络模型的性能比较好，同时对数据的要求比较高，参数多计算量大，对调参带来一定压力。
1.人工神经网络（Artificial Neural Network）
人工神经网络没有一个严格的正式定义。它的基本特点是，试图模拟大脑的神经元之间传递、处理信息的模式。神经网络的划分主要考虑网络连接的拓扑结构、神经元的特征、神经元的特征、学习规则等。根据连接的拓扑结构，神经网络模型可以分为前向网络和反馈网络。
2.激活函数
sigmoid函数：
特点：
- 取值介于0~1
-
超出[-6,6]时，取值基本没有变化
双曲正切函数：
特点：
- 取值介于-1~1
-
修正线性单元函数(Rectifier Linear Units,ReLU):
特点：
- 只有一半激活区，一半为0
- 不会梯度消失
- 计算简单，速度快，加速训练
- 更接近生物学原理
Softplus函数：
特点：
-
- 是ReLU函数的平滑版
- 是Sigmoid函数的原函数
3.损失函数
回归中的均方损失：
分类中的交叉熵损失函数：
熵：香农信息量的期望。对于样本
,假设真实的分布为
,则熵为：
KL散度：如果用预测的分布代替真实的分布
，则需要额外的信息增量：
