第一次基础线性回归这个概念的时候是在高中，当时也就做做题对XX大厂做销售预测，没想到会在机器学习里再次见到。一说到回归就是对给定的 X 值做预测的了，线性回归就是一种方法。这篇文章将讨论线性回归里的重要概念，并一步步地进行优化。
什么是线性回归
下面的图就是线性回归（线性规划），图里面的点是数据集里的数据，而直线是我们所说的回归方程，显然这个方程是一次的，也就是线性的。
如果将 X 看成时间，Y 看成销售额，那么我们就可以预测 n 年后的销售额啦，这就是线性回归的应用。
这里的回归方程一般我们这样表示。
其中 是特征值，对应的
值是
，一般使用向量表示。
整理一下回归方程如下：
现在的问题就是怎么确定这些 值。
确定 
值
Cost Function
这些 是可以反映出这个函数是否拟合好的，我们应该尽可能地将这个回归函数往数据上靠才行，也就是预测值尽可能等于真实值，进一步来说就是错误率要尽可能低。OK，我们好像找到一个约束条件了——错误率要低。这里复习一下回归方程的错误率公式：
我们还发现这样的求和跟矩阵相乘有点关系呀，其中 ，而且
值是矩阵
的一部分
所以将上面的式子再整理一下
梯度下降
假设有初始值 了，现在目标是改变这些值使得 MSE(或者说
) 最小就可以了，所以在改动的过程中
是下降的趋势。这里我们可以用导数完成。求导之前为了看得更清楚，规定：
对 求导数，其中对于单个
的求导过程为
所以整个 Cost Function 的求导结果为
然后将里面的同类项提出来
如果
- 导数 > 0，说明上升趋势，
- 导数 < 0，说明下降趋势，
伪代码表示
这里的某个数就是 α*∇J(θ)。每次迭代都会更新 值，
值更新完后
又会更新，然后再次求导再更新
值，如此反复，直到误差小于某个小数，这里是
ε。这整个迭代过程叫做梯度下降，有没有坐滑滑梯的感觉呢？下面的图可以形象地反映整个梯度下降的过程
一直走到极值点才停止。
随机梯度下降
如果你理解了上面的梯度下降，那么这个方法很容易理解。它的主要思想是每次更新 值的时候，从数据集里随机选一个数据，只用这个数据的
和
值去做更新，而不是使用全部数据的
和
值。伪代码如下
和上面的代码相比就多了一行 for j=1:m，意思是从 m 个数据里选一个出来，拿这个数据去更新 值。当改变这
时，它会使得回归方程趋向这个点。又因为这个过程是随机的，所以多次迭代后，回归方程会趋向于所有的数据。图下表示回归方程趋向于某个随机选中的点。
当然这种方法有好也有坏，好的地方是拟合速度快。不好的地方是有可能不是严格的梯度下降，比如本来已经很拟合很好了突然选中了外面一个点又往外靠，这就不是梯度下降了。而且更难的地方在于找一个合适的条件让算法停止。
非线性特征值
之前我们都是假想特征值是线性的，但是实际有可能某些特征是 2 次，或者多次，甚至开方的，那怎么办呢？如下图
我们的回归方程就不应该再是线性的了，这里就要说一个特征转化的技巧了，做如下改动
这里就加了一个中间的过渡向量 ，将原来的
用
替代完事了。个人感觉这个思想有点像开发里的中间件，或者是设计模式里的装饰器模式。有了这个技巧后我们还能解决一些奇奇怪怪的特征值如
，把它们都放在
向量里就 OK 了。
正则化
为了防止回归方程出现过拟合，如下图所示
一般会加上一个参数来控制拟合程度，所以我们的 要改成如下形式了
多加的 就是前面所说的参数，其中
。通过控制
的值就可以控制回归方程的拟合程度。
如果 那就和没搞正则化一样嘛，如果
很大，
值就会小一些，不容易出现过拟合的情况。
