ML 监督学习 回归 线性回归

1.最小二乘法(Least Square Method):

基于均方误差最小化来进行模型求解的方法
LSM

可直接使用sklearn.linear_model中的LinearRegression对象进行训练与预测

不足:

最小二乘法会随着特征维度的增加出现模型的过度拟合

例子
import numpy as np
import matplotlib.pyplot as plt
from sklearn import linear_model

def make_data(nDim):
    x0=np.linspace(1,np.pi,50)                 
    x=np.vstack([[x0,],[i**x0 for i in range(2,nDim+1)]])
    y=np.sin(x0)+np.random.normal(0,0.15,len(x0))
    return x.transpose(),y   

x,y=make_data(12)     

def linear_regression():
    dims=[1,3,6,12]

    for idx, i in enumerate(dims):
        plt.subplot(2,len(dims)/2,idx+1)
        reg=linear_model.LinearRegression()

        sub_x=x[:,0:i]
        reg.fit(sub_x,y)
        plt.plot(x[:,0],reg.predict(sub_x))
        plt.plot(x[:,0],y,".")
        plt.title("dim=%s"%i)

        print("dim %d :"%i)
        print("intercept %s"% (reg.intercept_,))
        print("coef :%s"%(reg.coef_,))
    plt.show()

linear_regression()  
LSM

并且发现随着特征维度的增加,模型求得的w的值也增加。

根据最小二乘法的原理,为了更好地拟合训练数据中很小的x值差异产生的较大的y值差异,必须使用较大的w值,而越大的w值会导致预测目标值变大,所以产生过拟合。

2.岭回归(Ridge Regression)

对最小二乘法的改进,添加了一个惩罚项(L2 Penalty)
可解决多特征情况下回归模型参数太大,导致过拟合的问题。


Ridge

α是一个可以调节的超参数

def ridge_regression():
    alphas=[1e-15,1e-12,1e-5,1,]

    for idx, i in enumerate(alphas):
        plt.subplot(2,len(alphas)/2,idx+1)
        reg=linear_model.Ridge(alpha=1)

        sub_x=x[:,0:12]
        reg.fit(sub_x,y)
        plt.plot(x[:,0],reg.predict(sub_x))
        plt.plot(x[:,0],y,".")
        plt.title("dim=12, alpha=%e"%i)

        print("dim %d :"%i)
        print("intercept %s"% (reg.intercept_,))
        print("coef :%s"%(reg.coef_,))
    plt.show()

ridge_regression()  
Ridge

对比最小二乘法的结果,岭回归中模型参数w显著降低,且α越大,回归参数越小,模型越平缓。

3.Lasso回归

注意到在岭回归中,无论将α设多大,回归模型的参数都有很小小的绝对值,很难达到零值。而Lasso回归可以将不重要的特征参数计算为0的模型。


Lasso

|w|为L1 Penalty

def lasso_regression():
    alphas=[1e-10,1e-3,1,10,]

    for idx, i in enumerate(alphas):
        plt.subplot(2,len(alphas)/2,idx+1)
        reg=linear_model.Lasso(alpha=i)

        sub_x=x[:,0:12]
        reg.fit(sub_x,y)
        plt.plot(x[:,0],reg.predict(sub_x))
        plt.plot(x[:,0],y,".")
        plt.title("dim=12, alpha=%e"%i)

        print("dim %d :"%i)
        print("intercept %s"% (reg.intercept_,))
        print("coef :%s"%(reg.coef_,))
    plt.show()

lasso_regression() 
Lasso
总结
Conclusion
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容