过拟合和欠拟合

一、过拟合含义:

所谓过拟合(Overfitting):指一个假设在训练数据上能够获得比其他假设更好的拟合(训练误差小)但是在训练数据外的数据集上却不能很好的拟合数据(测试误差大)。此时模型的泛化能力较差,不利于推广。

二、过拟合产生的原因:

训练数据中存在噪音或者训练数据太少。

三、预防或克服过拟合措施:

1、 增大样本全面性和数量。

2、 控制模型的复杂度。集合Bagging和Boosting。

3、 正则化,使用L2范数(L2范数是指向量各元素的平方和然后求平方根。我们让L2范数的规则项||W||2最小,可以使得W的每个元素都很小,都接近于0,但与L1范数不同,它不会让它等于0,而是接近于0)

4、 交叉验证,此方法在可获得额外的数据提供验证集合时工作得很好,但是小训练集合的过度拟合问题更为严重。


四、欠拟合含义:

即回归问题线性拟合较差,分类问题则分类较差。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Overfitting and underfitting in deep learning 在深度学习中,训练的过...
    gaoshine阅读 9,961评论 0 2
  • 我仅用一个手势 就把这一堆思绪都推到了 记忆的上一个站台 顿觉一片清明 就此看见了夏天 在那个不一样的视角 和天空...
    莫子非阅读 1,774评论 0 1
  • 若是风来了,我们乘着我们附着。 若是风来了,我们抚着我们邀着。 我们的风,我们的风。
    即是风阅读 838评论 0 0
  • 你是否一直在旅行的感觉中生活和做事? 我们很多人基本上都有出去旅行的经历。 你会发现在你准备旅行的时候,要打包很多...
    听雨廖哥阅读 2,224评论 0 0
  • 本文是战隼老师在喜马拉雅FM的《战隼:无需意思志力的习惯养成法-100天行动》的笔记。如需要原文,请收听节目。如有...
    西西西西力阅读 1,839评论 0 2