第1步：损失函数
- 回归问题用MSE
- 多类别分类问题用交叉熵
- 二分类问题用二值交叉熵
第2步：初始神经网络架构
- 结构化学习：一个激活数在输入输出神经元数之间的全连接层
- 计算机视觉：从ResNet开始
第3步：训练集
- 用learning rate finder来选学习率
- Adam优化
- 余弦学习率衰减
- 学习率重启
- 如果做迁移学习，尝试一下可微分学习率
- 隐藏层的神经元数量
- minibatch大小
- 隐藏层数量
第4步：验证集
Dropout
L2正则化
输入特征归一化
批量归一化
数据扩增
为训练集补充数据
梯度消失或爆炸
He初始化
用LSTM神经元
梯度裁剪
调整神经网络架构
第5步：测试集
- 如果有问题，扩大验证集，回到第4步
第6步：真实世界
- 如果有问题，换个验证集和测试集，回到第4步
参考：
https://mp.weixin.qq.com/s/zv8Mtch5Klm-qSgyBxI9QQ https://mp.weixin.qq.com/s/miKs4tWu8Hh1yHvx-XZFwg
