training

• 梯度下降优化是否成功 （loss是否随着epoch下降）

学习率调整
batchsize（是否接近真正的统计规律）
超参数
网络结构

• 过拟合 (观察 loss 变化曲线)

添加正则项 L2， L1 terms
添加margin等惩罚项
how to generate inter- and intra-class samples?

• 欠拟合 (loss 损失下不去， accuracy 准确率不高)

模型是否符合物理规律
增添更加复杂、学习能力更强的模块
去除对应的正则项

• 超参数调节

根据物理意义调节超参数
调整各个正则项的权重

• loss函数

loss函数指导网络收敛，但是如果网络结构不对，loss是无法下降，无法收敛的

正常训练loss变化.png

过拟合

正常

过拟合

浅层的特征提取影响不是很大，主要是后面几层分类器，如果分类器太强大就容易过拟合，即使浅层特征不是很完美，后面的分类器也能记住训练数据、发生过拟合。