内核岭回归(KRR)由使用内核方法的岭回归所组成。不同的内核会导致不同的空间线性函数。对于非线性的内核,它与原始空间中的非线性函数相对应。内核岭回归与支持向量回归(SVR)的模型形式是一样的。但是它们有三个不同点:
1、它们使用不同的损失函数:KRR使用平方误差损失函数;SVR使用-不敏感损失(忽略真实值在某个上下范围内的误差),但两者用的都是正则化。
2、KRR对于中型数据集拟合更快(中型数据量大概一两万左右)。
3、KRR学习的模型是非稀疏的,而SVR拟合的是>0的稀疏模型,因此SVR预测更快。
以下是KRR与SVR的性能对比:
一、KRR示例
博主将岭回归、贝叶斯岭回归、内核岭回归、支持向量回归放在了一起进行训练比较,结果如下:
可以看出来,在没有调参的情况下,岭回归的效果要好于内核岭回归(调参后就说不准了),但是内核岭回归是快于岭回归的。支持向量回归速度最慢,贝叶斯岭回归速度最快,差别较大。
参考《Scikit-learn官方API》
如有错误,请指正;如有疑问,请留言。