前言
线性回归模型看起来非常简单，简单到让人怀疑其是否有研究价值以及使用价值。但实际上，线性回归模型可以说是最重要的数学模型之一，很多模型都是建立在它的基础之上，可以被称为是“模型之母”。
简单线性回归
所谓简单，是指只有一个样本特征，即只有一个自变量；所谓线性，是指方程是线性的；所谓回归，是指用方程来模拟变量之间是如何关联的。
简单线性回归，其思想简单，实现容易（与其背后强大的数学性质相关。同时也是许多强大的非线性模型（多项式回归、逻辑回归、SVM）的基础。并且其结果具有很好的可解释性。
在我看来，简单线性回归就像是在求解我们初中时代学习的一元线性方程 y = ax + b的a、b参数一样，只不过这次求的是最符合样本数据的近似解，使得误差最小。
我们来看一个例子，温度与冰淇淋的销量：
看上去像是某种线性关系：
那么我们就假设这种关系是:
f(x) = ax + b
简单线性回归就是要寻求出a、b的值，使得f(x)最拟合真实情况。也就是真实的y值和预测的f(x)的差距尽可能的小。
考虑所有样本，我们推导出：
尽可能小，从而得出最佳的拟合方程。
最小二乘法
举一个生活中的例子。比如说，有五把尺子：
用它们来分别测量一线段的长度，得到的数值分别为（颜色指不同的尺子）：
有误差的情况下，一般取平均值来作为线段的长度：
首先，把测试得到的值画在笛卡尔坐标系中，分别记作 ：
其次，把要猜测的线段长度的真实值用平行于横轴的直线来表示（因为是猜测的，所以用虚线来画），记作 ：
每个点都向 y做垂线，垂线的长度就是|y—yi| ，也可以理解为测量值和真实值之间的误差：
因为误差是长度，还要取绝对值，计算起来麻烦，就干脆用平方来代表误差：
总的误差的平方就是：
因为 y是猜测的，所以可以不断变换：
自然，总的误差 也是在不断变化的。
法国数学家，阿德里安-馬里·勒讓德（1752－1833，）提出让总的误差的平方最小的 就是真值，这是基于，如果误差是随机的，应该围绕真值上下波动。
这就是最小二乘法，即：
这个猜想也蛮符合直觉的，来算一下。
这是一个二次函数，对其求导，导数为0的时候取得最小值：
进而：
正好是算术平均数。
原来算术平均数可以让误差最小啊，这下看来选用它显得讲道理了。
以下这种方法：
就是最小二乘法，所谓“二乘”就是平方的意思，台湾直接翻译为最小平方法。
最小二乘法推导简单线性回归
之前我们了解到的简单线性回归的目的:
已知训练数据样本x、y ，找到a和b的值，使
尽可能小，从而得出最佳的拟合方程。
那么我们利用最小二乘法来求解简单线性回归的解：
最终我们通过最小二乘法得到a、b的表达式：
