当神经网络的层数不够多、每层的神经元不够多,即模型的能力(Model Capacity)不够大时,表现出在模型在训练的时候,无法从训练数据中"学到”正确的模式,使得预测错误一致很高,这就是underfitting。当出现underfitting的时候,增加模型能力,即增加模型的层数、增加神经元的个数,可以解决underfitting。
当神经网络的层数足够多、每层的神经元足够多,即模型的能力(Model Capacity)足够大时,表现出在模型在训练数据上预测错误很低,但在测试数据上预测错误很高,这就是overfitting。当出现overfitting的时候,减少模型能力,即减少模型的层数、减少神经元的个数,可以解决overfitting。若不减少模型能力,则要通过增加训练数据、数据增强等技术,解决Overfitting。