回归算法对比

线性回归

优点：建模迅速，对于小数据量、简单的关系很有效；易理解。

缺点：不能处理非线性；不能处理数据特征间具有相关性的多项式回归；难以表达高度复杂的数据。

岭回归

算法流程

平方误差e=\sum\nolimits_{1}^n (y_{i}-X_{i}A)^2

矩阵形式E=(Y-XA)(Y-XA)^{T}

对A求导：

最小二乘法

由于样本数量n约等于特征数量p时，易过拟合。

岭回归在平房误差基础上增加正则项，通过确定\lambda 的值来平衡偏差和方差。

新的误差公式
注：I为对角矩阵

优点：可以解决特征数量>样本量多的过拟合问题；可以判断特征的重要程度；增加偏差的同时减小方差。

缺点：它缩小了系数的值，但没有达到零，这表明没有特征选择功能。

适用：用于过拟合严重或各变量之间存在多重共线性的情况。

LASSO回归

与岭回归的正则项不同

L1正则

优点：L1范数倾向于产生稀疏系数，能起到“降维”的作用；比Ridge效率高

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容