Andrew Ng ML(4)——过拟合&正则化

  • overfitting(过拟合)

特征过多会导致过拟合（或者说训练样本太少）
线性回归中的过拟合
逻辑回归中的过拟合
Q：如何解决过拟合？
1.减少特征（人工或者用算法）2.正则化（可以保留所有特征）

  • 正则化

    overview:
    加入惩罚项（其实就是使某些θ趋于0）解决过拟合问题（使h函数图形更加平滑）
Q：实际运用中，不清楚需要对哪些\theta进行正则化，怎么办?
对所有θ正则化（除θ_0(Ng说这个是习惯)）

Ng给出的示例中正则化参数\lambda=1000，但是\lambda取值过大会导致欠拟合（偏见性很强）

λ取值过大会导致θ1~θn均趋于0，而使假设函数h变成一条直线
  • 线性回归的正规化

P.S.需要对\theta_0做特殊处理（由于没有对θ_0做正规化）

  • 正规方程的正则化
    P.S.当\lambda>0时可以解决X^TX不可逆的问题
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

相关阅读更多精彩内容

  • 【机器学习】正则化
    http://www.cnblogs.com/jianxinzhou/p/4083921.html 1. The ...
    求求你不要再说了阅读 680评论 0赞 1
  • 正则化
    过拟合问题（The Problem of Overfitting） 如上图所示，第一个采用单变量线性回归模型来拟合...
    SmallRookie阅读 629评论 0赞 1
  • 正则化
    拟合问题： 还是来看预测房价的这个例子，我们先对该数据做线性回归，也就是左边第一张图。如果这么做，我们可以获得拟合...
    煮饺子的茶壶阅读 438评论 0赞 0
  • 释空
    夜半孤城烟火情， 霓虹喧嚣尽人行； 酒色迷途不知返， 醉声梦死在其中。
    行道子阅读 289评论 0赞 0
  • 今天周总结
    2018.1.1-1.7周总结 自从回来后白天忙，晚上要去姐新开的托儿所帮忙，给小孩上辅导课，搞清洁卫生，每天忙到...
    大长腿小哥阅读 324评论 0赞 1

友情链接更多精彩内容