- 梯度下降优化是否成功 （loss是否随着epoch下降）
学习率调整
batchsize（是否接近真正的统计规律）
超参数
网络结构
- 过拟合 (观察 loss 变化曲线)
添加正则项 L2， L1 terms
添加margin等惩罚项
how to generate inter- and intra-class samples?
- 欠拟合 (loss 损失下不去， accuracy 准确率不高)
模型是否符合物理规律
增添更加复杂、学习能力更强的模块
去除对应的正则项
- 超参数调节
根据物理意义调节超参数
调整各个正则项的权重
- loss函数
loss函数指导网络收敛，但是如果网络结构不对，loss是无法下降，无法收敛的
正常训练loss变化.png
过拟合
正常
过拟合
浅层的特征提取影响不是很大，主要是后面几层分类器，如果分类器太强大就容易过拟合，即使浅层特征不是很完美，后面的分类器也能记住训练数据、发生过拟合。
