正则化

完整的目标函数 Obj(\theta ) = L(\theta ) +a\Omega(\theta )

损失项让误差尽量小

正则项让模型更简单，提高泛化能力，防止过拟合

l1, l2, l3,范数越大，模型更复杂，为了减少过拟合，使用L2在减少过拟合的情况下保证准确率

L0范数：所有参数w中非0元素的个数

L1范数：所有参数的绝对值之和（|w|）

L2范数：所有参数的平方的加和（w^2）

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容

  • 正则化
    一、正则化基础 正则化等价于结构风险最小化，就是在经验风险后面加上了表示模型复杂度的正则化项或惩罚项。 正则化的作...
    arrnos阅读 1,654评论 0赞 4
  • L1 与 L2 正则化
    概念 L0 范数：指向量中非0的元素的个数。如果我们用L0范数来规则化一个参数矩阵W的话，就是希望W的大部分元素都...
    NoahU阅读 1,324评论 0赞 0
  • 【连载】深度学习笔记4：深度神经网络的正则化
    今天要说的是关于机器学习和深度学习中的一项关键技术：正则化。相信在机器学习领域摸爬滚打多年的你一定知道正则化是防止...
    linux那些事阅读 596评论 0赞 0
  • 勿把别人的礼貌，当成你撩妹成功的战利品
    食堂门口 女生发着传单，一黑人留学生好奇地上前问这是什么。 女生：这是xx公司线下的活动，有兴趣可以看一下。 留学...
    弄花阅读 532评论 0赞 0
  • 随记
    其实一切都不过是司命笔下的一个个小故事。
    Jiakiki阅读 118评论 0赞 0