过拟合欠拟合及其解决方案

模型选择、欠拟合和过拟合

由于无法从训练误差估计泛化误差，一味地降低训练误差并不意味着泛化误差一定会降低

机器学习模型应关注降低泛化误差。 可以使用验证数据集来进行模型选择

欠拟合指模型无法得到较低的训练误差，过拟合指模型的训练误差远小于它在测试数据集上的误差

 应选择复杂度合适的模型并避免使用过少的训练样本

权重衰减

正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常用手段

 权重衰减等价于L2范数正则化，通常会使学到的权重参数的元素较接近0

 权重衰减可以通过优化器中的weight_decay超参数来指定

 可以定义多个优化器实例对不同的模型参数使用不同的迭代方法

丢弃法

我们可以通过使用丢弃法应对过拟合

丢弃法只在训练模型时使用

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容

  • 过拟合与欠拟合
    机器学习的目的是开发出能够很好泛化到测试数据(或者之前从未见过的数据)的模型，过拟合是指当训练周期达到一定的迭代次...
    素娜93阅读 1,888评论 0赞 0
  • 九、机器学习基础Ⅳ：过拟合和欠拟合
    文章代码来源：《deep learning on keras》，非常好的一本书，大家如果英语好，推荐直接阅读该书，...
    抄书侠阅读 2,145评论 0赞 0
  • TensorFlow 过拟合和欠拟合
    与之前一样，此示例中的代码将使用tf.keras API，您可以在TensorFlow Keras指南中了解更多信...
    AnuoF阅读 1,092评论 0赞 2
  • 神经网络:欠拟合和过拟合
    以我们前面讲述的线性回归为例，比如我们在训练集上训练出最优的模型，但是当我们将其使用到测试集时，测试的误差很大，我...
    nightwish夜愿阅读 14,399评论 0赞 5
  • 今日感恩
    感恩～心阳邀请赵老师让会员们体验一次神奇的团体成长活动，我第一次了解到欧文-龙团体疗法，成长路上新鲜的体验不断。 ...
    毛毛细雨mmxy阅读 122评论 0赞 0