线性回归(待续)

线性回归的模型函数和损失函数

1657318876.jpg
线性回归.png
脊回归.png
ridgeregression.png

ridge regression，对w做2范式约束，就是把解约束在一个l2-ball里面，放缩是对球的半径放缩，因此w的每一个维度都在以同一个系数放缩，通过放缩不会产生稀疏的解——即某些w的维度是0

岭回归.png

坐标轴下降法（coordinate descent）和最小角回归法（ Least Angle Regression， LARS）见Lasso回归算法： 坐标轴下降法与最小角回归法小结
最小角回归(least angle regression) 的一点记录
机器学习方法：回归（三）：最小角回归Least Angle Regression（LARS），forward stagewise selection
机器学习方法：回归（二）：稀疏与正则约束ridge regression，Lasso

参考文献

线性回归原理小结

Lasso回归算法： 坐标轴下降法与最小角回归法小结

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容