线性回归的局限性
线性回归是利用已有观测样本的自变量和因变量之间的线性关系，建立回归方程。
通常采用最小二乘法求解，。
公式中包含，也就是需要对矩阵求逆，因此这个方程只在逆矩阵存在时适用。
如果特征比样本点还多（），也就是说输入数据的矩阵不是满秩矩阵。非满秩矩阵求逆时会出现问题。
为了解决这个问题，统计学家引入了岭回归（ridge regression）的概念，本文将介绍的第一种缩减方法。
岭回归
简单来说，岭回归就是在矩阵上加一个
，从而使得矩阵非奇异（矩阵可逆），其中矩阵
是一个mxm的单位矩阵，对角线上元素全为1，其它元素全为0。回归系数的计算公式将变成：
通过引入惩罚项，能够减少不重要的参数，这个技术在统计学中也叫做缩减（shrinkage）。
import numpy as np
def loadDataSet(fileName):
numFeat = len(open(fileName).readline().split('\t')) - 1
dataMat = []; labelMat = []
fr = open(fileName)
for line in fr.readlines():
lineArr =[]
curLine = line.strip().split('\t')
for i in range(numFeat):
lineArr.append(float(curLine[I]))
dataMat.append(lineArr)
labelMat.append(float(curLine[-1]))
return dataMat,labelMat
# 计算回归系数
def ridgeRegres(xMat, yMat, lam = 0.2):
xTx = xMat.T * xMat
demon = xTx + np.eye(xMat.shape[1]) * lam
if np.linalg.det(demon) == 0:
print('矩阵无法求逆')
return
ws = demon.I * (xMat.T * yMat)
return ws
def ridgeTest(xArr, yArr):
xMat = np.mat(xArr)
yMat = np.mat(yArr).T
# 数据标准化
ymean = np.mean(yMat, 0)
yMat = yMat - ymean
xMean = np.mean(xMat, 0)
xVar = np.var(xMat, 0)
xMat = (xMat - xMean)/xVar
numTest = 30
wMat = np.zeros((numTest, xMat.shape[1]))
for i in range(numTest):
ws = ridgeRegres(xMat, yMat, np.exp(i-10))
wMat[i,:] = ws.T
return wMat
ridgeRegres()函数用于计算回归系数，ridgeTest()函数在一组上测试结果。
abX, abY = loadDataSet('abalone.txt')
ridgeWeights = ridgeTest(abX, abY)
import matplotlib.pyplot as plt
fig = plt.figure()
ax = fig.add_subplot(111)
ax.plot(ridgeWeights)
plt.xlabel('log(lambda)')
plt.show()
上图绘出了回归系数与的关系。在
较小时，可以得到所有系数的原始值；而在最右边，
达到一个很大的值，所有系数缩减为0。在中间部分的某值将可以取得最好的预测效果。需要进行交叉验证来找到最佳参数值。
还有一些其他缩减方法，如lasso、LAR、PCA回归以及子集选择等。
前向逐步回归
前向逐步回归算法，属于一种贪心算法，即每一步都尽可能减少误差。算法伪代码如下。
数据标准化，使其分布满足0均值和单位方差
每次迭代：
设置当前最小误差lowestError为正无穷
对每个特征：
增大或缩小：
改变一个系数得到一个新的W
计算新W下的误差
如果误差Error小于lowestError：
设置WBest等于当前W
将W设置为新的WBest
实际代码如下。
# 计算残差平方和
def rssError(yArr,yHatArr):
return ((yArr-yHatArr)**2).sum()
# 标准化数据
def regularize(xMat, axis = 0):
inMat = xMat.copy()
inMeans = np.mean(inMat, axis)
inVar = np.var(inMat, axis)
inMat = (inMat - inMeans)/inVar
return inMat
# 前向逐步回归
def stageWise(xArr, yArr, eps = 0.01, maxIter = 100):
'''
xArr：输入数据
yArr预测变量
eps：需要调整的步长
maxIter：最大迭代次数
'''
xMat = np.mat(xArr)
yMat = np.mat(yArr).T
yMean = np.mean(yMat, 0)
yMat = yMat - yMean
xMat = regularize(xMat)
m,n = xMat.shape
returnMat = np.zeros((maxIter, n))
ws = np.zeros((n, 1))
wsTest = ws.copy()
wsMax = ws.copy()
for i in range(maxIter):
lowestError = np.inf
for j in range(n):
for sign in [-1, 1]:
wsTest = ws.copy()
wsTest[j] += eps*sign
yTest = xMat * wsTest
rssE = rssError(yMat.A, yTest.A)
if rssE < lowestError:
lowestError = rssE
wsMax = wsTest
ws = wsMax.copy()
returnMat[i, :] = ws.T
return returnMat
下面看下实际效果。
ws = stageWise(abX, abY, 0.005, 1000)
fig = plt.figure()
ax = fig.add_subplot(111)
ax.plot(ws)
plt.show()
逐步线性回归算法可以找出重要的特征，这样就可能及时停止对那些不重要特征的收集。
当应用缩减方法（如逐步线性回归或岭回归）时，模型就增加了偏差（bias），与此同时，减小了模型的方差。
