L1 ， L2正则化

相同点：都用于避免过拟合

不同点：L1可以让一部分特征的系数缩小到0，从而间接实现特征选择。所以L1适用于特征之间有关联的情况。

          L2让所有特征的系数都缩小，但是不会减为0，它会使优化求解稳定快速。所以L2适用于特征之间没有关联的情况
image.png
image.png
image.png

这两种类型的正则化都使权重向零靠近，使其分布在零附近。L2 正则化对分布尾端的影响比较大，可消除极端权重。L1 正则化生成更多确切的零值，在本示例中，它将 ~200 设置为零值。

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容

  • L1、L2正则化知识详解
    正则化是一种回归的形式，它将系数估计（coefficient estimate）朝零的方向进行约束、调整或缩小。也...
    suwi阅读 57,117评论 0赞 20
  • L0, L1, L2 正则化
    文章内容来源：CSDN 需要正则化的原因： 监督机器学习问题无非就是“minimize your error wh...
    Even_Wang阅读 1,491评论 0赞 1
  • L1,L2正则化本质
    （1）什么是正则化 1、从结构风险化角度，解释什么是正则化 经验风险其实就是样本本身带来的误差。结构风险就是学习器...
    只为此心无垠阅读 2,217评论 0赞 2
  • （5）L1、L2正则化
    正则化主要是用于降低过拟合的风险。 L1 引入稀疏性，删除影响较少的参数，可减少计算量。拉普拉斯分布（背靠...
    顽皮的石头7788121阅读 447评论 0赞 0
  • L1+L2正则化
    简单来说就是既有L1的稀疏效果，也有L2使权重趋于0的效果。比如：L1的效果： 100x1+ 0.1x2 + 0...
    菜鸟瞎编阅读 261评论 0赞 0