最基本的算法：一元线性回归方程 y=f(x)=aX+b
以前的应用题是解 一元一次方程组， 给出2组数据，即可求出a，b。
现在给出N 组数据， 要求出 a，b。
@思想一：残差和最小
空间假设法
根据△y1²+△y2²+…+△yN²的和 最小（为什么要用平方和，因为方便求导计算）
估算值与实际值的总平方差的公式
1) 一次计算即可得到最优解(全局最优解)，但极小值为全局最小值；
2) 当特征数量 n大于10000时，因计算矩阵逆的时间复杂度会很大；
3) 只适用于线性模型，不适用于逻辑回归等其他模型。
@梯度下降法
1) 需要选择学习率α， 需要多次迭代找到最优解(局部最优解)，极小值为局部最小值；
2) 当特征数量大于10000时，也可以进行计算；
3) 适用于各种类型的模型。
最小二乘法只适用于线性模型(这里一般指线性回归)；而梯度下降适用性极强，一般而言，只要是凸函数，都可以通过梯度下降法得到全局最优值(对于非凸函数，能够得到局部最优解)。梯度下降法只要保证目标函数存在一阶连续偏导，就可以使用。
