机器学习中的监督学习目的是在给定真实值的条件下，通过训练函数来进行预测。
监督学习常见的应用情况是线性回归，在线性回归模型中，为了确定预测值与真实值之间误差最小时的参数，我们通常使用差方。通过计算或者带入尝试所有的参数来找到那个误差最小的坐标点，从而得知此时的参数即是最适合的参数。
找到最小值坐标点有两种方式，第一种为梯度下降法，即在所有维度中寻找到在各自维度上下降最快的方向，并在这个方向上下降一段距离。所有维度的下降向量加和即代表着在梯度下降最快的方向上前进了一部分距离。不断地寻找下降最快的方向进行移动，终将使函数收敛并获得局部最优解。我们使用偏微分来确定每一个维度上的最快下降方向，并手动输入变化率来控制前进速度。它的缺陷在于面对方差分布有波动不规则的时候，局部最优解不一定是全盘最优解，因而可能会得到错误的解。
在面对大量数据的时候，我们往往很难遍历全部数据，因此需要使用随机梯度递减法，即每次只使用单组训练数据对模型进行求解。这样的方式虽然增加了距离函数收敛的次数，但是减少了需要处理的数据量，因而常被使用。
第二种方法即为矩阵计算法，通过矩阵计算从而得到最小方差时的参数矩阵为：((XtX)^-1) *Xty。
