从机器学习到深度学习（一）线性回归

线性回归

OLS、Ridge、Lasso的优缺点对比：
OLS 最小二乘法：优点：计算方便（套入公式即可） 缺点：数据维度越高，参数值越大、更容易过拟合，且计算过程涉及矩阵求逆操作，计算量更大
Ridge 岭回归：优点：通过调整L2惩罚因子，防止维度变高时参数过大问题 缺点：参数不能为0，即无用参数不能被削减
Lasso 回归：优点：通过调整L1惩罚因子，可以使得数据的无用维度对应参数为0，起到降低数据维度的作用

线性回归的三种方法的目标都是通过调整损失函数，来实现拟合真值的目的。其中OLS方法优化目标为均方误差最小化，Ridge 回归在OLS基础上加入了L2正则化项，Lasso 回归在OLS基础上加入了L1正则化项

线性回归模型定义如下：

OLS优化目标如下：

Ridge 回归优化目标如下：

Lasso 回归优化目标如下：

引用

1.从机器学习到深度学习：基于scikit-learn与tensorflow的高效开发实战

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容