本文来自之前在Udacity上自学机器学习的系列笔记。这是第5篇，介绍了监督学习中的线性回归模型。
线性回归
回归这一个概念，在百度百科的解释是“发生倒退或表现倒退；常指趋于接近或退回到中间状态”。一开始指的是孩子的身高有趋于平均身高的现象。比如说，长得比较高的父母，生出来的孩子的身高一般会向平均值回落。因为这些长得比较高的父母，身高比平均值要高并不是大概率出现的事件。
当发现了这一现象后，人们开始将这个发现应用于其他地方。人们采集数据，然后绘制成散点图，研究数据之间的关系。久而久之，人们将数据之间的关系用函数关系表示，由此形成了数学上的回归的含义，即研究一组变量与另一组变量之间的关系，并使用函数方式表达出来。
所以，当我们遇到这样的问题，即知道一组自变量和另一组因变量之间的对应关系了，然后想研究新的自变量出现时，要预测对应的因变量的值，我们就可以使用线性回归。例如，不同年龄有不同的净资产。那么给定一个新的年龄，他的净资产有多少呢？
线性回归模型
如下图所示，我们想研究年龄和净资产的关系。对于一组给定的（年龄，净资产）数据点，我们制作了散点图。观察数据后我们可以预估一个线性回归模型（直线）可以满足。
模型
假设：
求解：
其中表示自变量，也就是这个例子中的年龄，
表示因变量，表示净资产。
问题
我们将上面的模型转换为求解下面的最小值问题：
一般，求解线性模型的最小值问题，我们有梯度下降法和最小二乘法。下面分别介绍。
设
算法一：梯度下降法
给定的初始值，然后不断地更新，使得
不断地减少，直到小于某给定足够小的值。更新策略为：
其中是学习速率（Learning rate）。
如果令，那么
的更新公式为：
推广到个
的情况。
样本数据：
假设：
其中，
其中保持同步地更新。
梯度下降法的具体推到涉及到高数中的泰勒公式，而其原理则是基于方向导数和梯度的定义。这里就不展开了。
算法二：最小二乘法
在高数书中定义了最小二乘法，即根据偏差的平方和为最小的条件来求解其中的常数的方法称为最小二乘法（Ordinary Least Equation）。而正规方程（Normal Equation）就是这里所说的条件表达为有确定解的代数方程式。
根据定理：设函数在点
(x_0,y_0)处有极值，则有
这两个方程组成了正规方程。
所以对于
有
求解
按照上面的条件可以推导得到：
其中都是样本数据的矩阵表达式。具体可以参考
http://mathworld.wolfram.com/NormalEquation.html。
在scikit-learn中实现了线性回归模型的库：
https://scikit-learn.org/stable/modules/linear_model.html#ordinary-least-squares
