1、多元线性回归
前一篇为简单的一元线性回归，它反映的是单个自变量对因变量的影响。然而，实际情况中，影响因变量的自变量往往不止一个，需要将一元线性回归模型拓展到多元线性回归模型。
多元线性回归指的就是一个样本有多个特征的线性回归问题。对于一个有n个特征的样本而言，它的回归结果可以写作下面方程：
其中，y和w为一维列向量，X为二维矩阵。
根据一元回归的最小二乘法思想，我们就是要构造一个目标函数：
使其取值最小。接下来我们对w进行求导:
我们先把式子展开成下面的样子（注意：(Xw)T=wTXT）：
然后就可以写成四个部分求导的形式如下（累加后求导=求导后累加）：
分别对上面四个部分求导步骤如下：
最后整合：
我们让求导后的一阶导数为0，并且我们的特征矩阵X肯定不会是一个所有元素都为0的矩阵，因此我们的XTX不会为0，因此我们可以得到：
而此时我们的w就是我们参数的最优解。求解出这个参数向量，我们就解出了我们的Xw，也就能够计算出我们的预测值yhat了。
2、多元线性回归模型实例
根据特征值预测加利福尼亚房屋价值
- 导入模块
from sklearn.linear_model import LinearRegression
from statsmodels.api as sm
from sklearn.model_selection import train_test_split
from sklearn.model_selection import cross_val_score
from sklearn.datasets import fetch_california_housing as fch # 加利福尼亚房屋价值数据集
import pandas as pd
- 导入数据，探索数据
x = pd.DataFrame(housevalue.data)
y = housevalue.target
x.shape, y.shape
((20640, 8), (20640,))
housevalue.feature_names # 特征值
- MedInc：该街区住户的收入中位数
- HouseAge：该街区房屋使用年代的中位数
- AveRooms：该街区平均的房间数目
- AveBedrms：该街区平均的卧室数目
- Population：街区人口
- AveOccup：平均入住率
- Latitude：街区的纬度
- Longitude：街区的经度
x.columns = housevalue.feature_names
x.head()
MedInc HouseAge AveRooms AveBedrms Population AveOccup Latitude Longitude
0 8.3252 41.0 6.984127 1.023810 322.0 2.555556 37.88 -122.23
1 8.3014 21.0 6.238137 0.971880 2401.0 2.109842 37.86 -122.22
2 7.2574 52.0 8.288136 1.073446 496.0 2.802260 37.85 -122.24
3 5.6431 52.0 5.817352 1.073059 558.0 2.547945 37.85 -122.25
4 3.8462 52.0 6.281853 1.081081 565.0 2.181467 37.85 -122.25
- 分训练集和测试集
xtrain, xtest, ytrain, ytest = train_test_split(x, y, test_size=0.3, random_state=420)
for i in [xtrain, xtest]:
i.index = range(i.shape[0]) # 为训练集重进建立索引
xtrain.shape
(14448, 8))
- 建模
reg = LinearRegression().fit(xtrain, ytrain)
yhat = reg.predict(xtest) # 得出预测数据
yhat
reg.coef_ # 系数
reg.intercept_ # 截距
- 评估
1 是否预测到了正确的数值
指标：均方误差MSE，每个样本的平均误差，用来衡量预测值和真实值的差异
from sklearn.metrics import mean_squared_error as MSE
MSE(yhat, ytest)
0.5309012639324572
2 是否拟合到了足够的信息
指标：决定系数R2
from sklearn.metrics import r2_score
r2_score(ytest, yhat)
0.6043668160178817
我们观察到，虽然我们在加利福尼亚房子价值数据集上的MSE相当小，但我们的R2却不高，这证明我们的模型比较好地拟合了数据的数值，却没有能正确拟合数据的分布。让我们与绘图来看看，究竟是不是这样一回事。我们可以绘制一张图上的两条曲线，一条曲线是我们的真实标签Ytest，另一条曲线是我们的预测结果yhat，两条曲线的交叠越多，我们的模型拟合就越好。
import matplotlib.pyplot as plt
%matplotlib inline
plt.plot(range(len(ytest)), sorted(ytest), c='b', label='Data')
plt.plot(range(len(yhat)), sorted(yhat), c='r', label='Predict')
plt.legend()
可见，虽然我们的大部分数据被拟合得比较好，但是图像的开头和结尾处却又着较大的拟合误差。如果我们在图像右侧分布着更多的数据，我们的模型就会越来越偏离我们真正的标签。这种结果类似于我们前面提到的，虽然在有限的数据集上将数值预测正确了，但却没有正确拟合数据的分布，如果有更多的数据进入我们的模型，那数据标签被预测错误的可能性是非常大的。
