该问题可以理解为:模型复杂度和偏差,方差之间的关系
前提:模型的复杂度越大,拟合能力就会越强,也会更容易产生过拟合
偏差(Bias):在不同训练集上训练得到的所有模型的平均性能和最优模型的差异,可以用来衡量模型的拟合能力。
方差(Variance):在不同的训练集上训练得到的模型之间的性能差异,表示数据扰动对模型性能的影响,可以用来衡量模型是否容易过拟合,即模型的泛化能力。
所以,当模型的复杂度增加时,模型的拟合能力得到增强,偏差便会减小,但很有可能会由于拟合“过度”,从而对数据扰动更加敏感,导致方差增大。从模型评价上来看,模型复杂度增加后,出现验证集效果提升,但是测试集效果下降的现象。