用sklearn内置的波士顿房屋数据集做一下房价预测，练习线性回归的API。
- 正规方程法
- 梯度下降法
- 岭回归
获取数据集
加载sklearn的boston数据集，返回训练集、测试集、以及目标值标准化模型。
线性回归求目标值是对各特征加和，因此需要对数据做标准化处理。
def preprocess():
# 获取数据
boston = load_boston()
print("feature_names:")
print(boston.feature_names)
print("data:")
print(boston.data[:5])
print("target:")
print(boston.target[:5])
# 划分训练集测试集
x_train, x_test, y_train, y_test = train_test_split(boston.data, boston.target, test_size=0.25)
# 线性回归需要对特征数据和目标数据进行标准化处理
# 特征数据标准化
std_x = StandardScaler()
std_x.fit(x_train)
x_train = std_x.transform(x_train)
x_test = std_x.transform(x_test)
# 目标数据标准化
# StandardScaler的transform要求传入二维数据，故此处reshape
y_train = y_train.reshape(-1, 1)
std_y = StandardScaler()
std_y.fit(y_train)
y_train = std_y.transform(y_train)
return x_train, x_test, y_train, y_test, std_y
输出：
****************************** 数据集 ******************************
feature_names:
['CRIM' 'ZN' 'INDUS' 'CHAS' 'NOX' 'RM' 'AGE' 'DIS' 'RAD' 'TAX' 'PTRATIO'
'B' 'LSTAT']
data:
[[6.3200e-03 1.8000e+01 2.3100e+00 0.0000e+00 5.3800e-01 6.5750e+00
6.5200e+01 4.0900e+00 1.0000e+00 2.9600e+02 1.5300e+01 3.9690e+02
4.9800e+00]
[2.7310e-02 0.0000e+00 7.0700e+00 0.0000e+00 4.6900e-01 6.4210e+00
7.8900e+01 4.9671e+00 2.0000e+00 2.4200e+02 1.7800e+01 3.9690e+02
9.1400e+00]
[2.7290e-02 0.0000e+00 7.0700e+00 0.0000e+00 4.6900e-01 7.1850e+00
6.1100e+01 4.9671e+00 2.0000e+00 2.4200e+02 1.7800e+01 3.9283e+02
4.0300e+00]
[3.2370e-02 0.0000e+00 2.1800e+00 0.0000e+00 4.5800e-01 6.9980e+00
4.5800e+01 6.0622e+00 3.0000e+00 2.2200e+02 1.8700e+01 3.9463e+02
2.9400e+00]
[6.9050e-02 0.0000e+00 2.1800e+00 0.0000e+00 4.5800e-01 7.1470e+00
5.4200e+01 6.0622e+00 3.0000e+00 2.2200e+02 1.8700e+01 3.9690e+02
5.3300e+00]]
target:
[24. 21.6 34.7 33.4 36.2]
建模
正规方程法：
model = LinearRegression()
model.fit(x_train, y_train)
梯度下降法：
# max_iter: 最大迭代次数
model = SGDRegressor(max_iter=10)
model.fit(x_train, y_train.ravel())
岭回归：
# alpha: 正则化力度
model = Ridge(alpha=1.0)
model.fit(x_train, y_train.ravel())
预测
def predict(model, x_test, y_test, std_y):
# 回归系数
print("回归系数：")
print(model.coef_)
# 预测结果
print("真实值：")
print(y_test[:10])
y_predict = model.predict(x_test)
y_predict = std_y.inverse_transform(y_predict)
print("预测值：")
print(np.around(y_predict[:10].flatten(), decimals=1))
print("均方误差：")
print(mean_squared_error(y_test, y_predict))
输出：
****************************** 线性回归：正规方程法 ******************************
回归系数：
[[-0.06186526 0.13107583 0.04516768 0.05849482 -0.18127294 0.28983444
-0.0302648 -0.32734363 0.28317058 -0.25426876 -0.24581878 0.0966923
-0.41279297]]
真实值：
[34.9 20.6 24.1 37.2 12.8 25. 46. 14.5 21.5 22.9]
预测值：
[30.3 16.4 25.7 32.7 12.8 22.3 39.9 12.9 22. 20. ]
均方误差：
25.39621815792282
****************************** 线性回归：梯度下降法 ******************************
回归系数：
[-0.04176259 0.08606617 -0.01498182 0.06544983 -0.10239262 0.31993282
-0.04230784 -0.25439308 0.1088705 -0.07597648 -0.22770765 0.09737765
-0.37915806]
真实值：
[34.9 20.6 24.1 37.2 12.8 25. 46. 14.5 21.5 22.9]
预测值：
[31. 17.5 25.8 31.8 13.3 22.4 39.2 13.5 23.2 21.9]
均方误差：
25.956482620192624
****************************** 岭回归 ******************************
回归系数：
[-0.06091708 0.12885114 0.04121933 0.05930487 -0.17777864 0.2910496
-0.03091966 -0.32345932 0.27206837 -0.24330282 -0.24454616 0.0965778
-0.41066292]
真实值：
[34.9 20.6 24.1 37.2 12.8 25. 46. 14.5 21.5 22.9]
预测值：
[30.4 16.5 25.7 32.7 12.9 22.3 39.9 12.9 22. 20.1]
均方误差：
25.376589190071144
正规方程法适用于小数据集，100万条样本以下。
对于大数据集则建议使用梯度下降。
而岭回归加入了正则化，稳定性更好。
源码
Github: LinearRegression
