回归是一种监督学习，监督学习指的是有目标变量或预测目标的机器学习方法。
回归与分类的不同，就在于其目标变量是连续数值型。
用线性回归找到最佳拟合直线
- y = ax1 + bx2 + c类似这种形式的就是回归方程
- 求回归系数的过程就是回归（如上就是求a、b、c）
- 可以用最小二乘法（OLS）：追求均方差最小
局部加权线性回归（LWLR）
- 使用核函数来对附近的点赋予更高的权限
- 选取合适的平滑值，拟合出来的就是类似曲线，但要注意由于考虑了太多噪声会可能过拟合。
image.png
缩减法
- 适用于数据的特征比样本点还多的情况
- 特征点比样本点多的情况下，会使得矩阵不是满秩矩阵，无法求逆。
-
岭回归是一种缩减方法,公式如下：
image.png
