写在前面
本文依据python中的机器学习库scikit-learn中的官方教程，并加入自己的理解。
说明：
@ 用于注释信息
- 用于条目信息
Introduction
线性模型的一般形式：
@ 在上式中， 为权重，
为截距。
1.1.1. Ordinary Least Squares （一般最小平方）
-
线性回归的主要任务是根据样本数据点，拟合一条残差平方和最小的直线，如下图。
- 用数学表示：
@ X为输入值，为系数矩阵，y为输出真值，线性回归就是要找到一系列
- 代码示例
>>> from sklearn import linear_model
>>> reg = linear_model.LinearRegression()
>>> reg.fit([[0, 0], [1, 1], [2, 2]], [0, 1, 2])
LinearRegression()
>>> reg.coef_
array([0.5, 0.5])
1.1.1.1. Ordinary Least Squares Complexity （一般线性模型的复杂度）
设X矩阵中的样本数与特征数为，且
则计算复杂度为
。
1.1.2. Ridge regression and classification (岭回归和分类)
1.1.2.1. Regression (回归)
岭回归主要是在一般线性回归模型中加入惩罚项，避免受到极端样本值的影响：
@ ， 用于控制收敛的程度，超参数。
越大，则受极值的影响越小，共线性越强。
@ 由于加入了，使得
不能过大。
- 示例代码
>>> from sklearn import linear_model
>>> reg = linear_model.Ridge(alpha=.5) # 使用岭回归需要设置超参数alpha
>>> reg.fit([[0, 0], [0, 0], [1, 1]], [0, .1, 1])
Ridge(alpha=0.5)
>>> reg.coef_
array([0.34545455, 0.34545455])
>>> reg.intercept_
0.13636...
1.1.2.2. Classification
- 岭回归中有岭回归分类器 RidgeClassifier
将输出转换为 {-1, 1} 的输出。 - 如果为多分类任务，则比较多输出，预测值为输出最高值。
- 岭回归比逻辑回归快很多：因为只需要计算
一次。
- 岭回归有时也被成为最小平方支持向量机（Least Squares Support Vector Machines）
- 岭回归复杂度与一般回归一致。
1.1.2.4 Setting the regularization parameter: generalized Cross-Validation
scikit-learn提供了自动搜索最佳的功能
- 示例代码
>>> import numpy as np
>>> from sklearn import linear_model
>>> reg = linear_model.RidgeCV(alphas=np.logspace(-6, 6, 13))
>>> reg.fit([[0, 0], [0, 0], [1, 1]], [0, .1, 1])
RidgeCV(alphas=array([1.e-06, 1.e-05, 1.e-04, 1.e-03, 1.e-02, 1.e-01, 1.e+00, 1.e+01,
1.e+02, 1.e+03, 1.e+04, 1.e+05, 1.e+06]))
>>> reg.alpha_
0.01
- 自动搜索参数会触发网格搜索机制 Gridserchcv
1.1.3. Lasso
- 用于稀疏权重系数
- 数学表示：
@ 对于LASSO来说，与岭回归点区别在于正则项点系数不是平方，而是绝对值。
@ LASSO为L1范数。 - 示例代码：
>>> from sklearn import linear_model
>>> reg = linear_model.Lasso(alpha=0.1)
>>> reg.fit([[0, 0], [1, 1]], [0, 1])
Lasso(alpha=0.1)
>>> reg.predict([[1, 1]])
array([0.8])
1.1.3.1. Setting regularization parameter
参数，控制正则项点程度。
比较岭回归和LASSO
@ LASSO比较直，岭回归是曲线。
@ 说明LASSO优化过程中，使得一部分变为0。岭回归则将部分变点很小。LASSO可以选择有用点特征。
Lp范数
岭回归与LASSO回归比较
-
两者使用了不同点正则项
L0正则
的个数尽可能点小即非0
个数最小。
1.1.5. Elastic-Net（弹性网）
- 同时加入L1和L2正则项。
都是超参数。
1.1.7. Least Angle Regression (LARS)
- 用于解决高维数据的回归算法。
- 每一步找到与目的输出关系最大的特征系数。
- 当多个特征具有相同的关系时，选取系数所表示空间的中间角度。
LARS优点
- 当特征数比样本数多时很有效
- 与其他算法结合很容易，如LASSO
