回归算法对比

线性回归

优点:建模迅速,对于小数据量、简单的关系很有效;易理解。

缺点:不能处理非线性;不能处理数据特征间具有相关性的多项式回归;难以表达高度复杂的数据。


岭回归

算法流程

平方误差e=\sum\nolimits_{1}^n (y_{i}-X_{i}A)^2

矩阵形式E=(Y-XA)(Y-XA)^{T}

对A求导:

最小二乘法

由于样本数量n约等于特征数量p时,易过拟合。

岭回归在平房误差基础上增加正则项,通过确定\lambda 的值来平衡偏差和方差。

新的误差公式
注:I为对角矩阵

优点:可以解决特征数量>样本量多的过拟合问题;可以判断特征的重要程度;增加偏差的同时减小方差。

缺点:它缩小了系数的值,但没有达到零,这表明没有特征选择功能。

适用:用于过拟合严重或各变量之间存在多重共线性的情况。


LASSO回归

与岭回归的正则项不同

L1正则

优点:L1范数倾向于产生稀疏系数,能起到“降维”的作用;比Ridge效率高

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容