A. 用途：
可以用来预测，由多种因素影响的结果。
B. 建立公式：
C. 求解方法：
方法1. Gradient Descent：
技巧：
技巧1. Feature Scaling：
何时用：
当各个变量的值域或者数量级相差比较大时，
需要将各个变量的值域变换到相似的水平，
变换后，Gradient Descent 就可以更快地下降。
为什么要用：
不用的话，J 关于 Theta 的形状就会非常扁，Gradient 就会来回摆动，就需要更长的时间才能找到最小值。
所以就要做Feature Scaling：
怎么用：
1.除以值域范围：
2.或者，先减平均值，再除以值域范围：
之后，这个形状就会比较正规，Gradient 就可以比较快地找到全局最小值。
技巧2. Learning Rate:
如何确认Gradient Descent是在正确地进行？
如何选择Alpha？
1. 如何确认Gradient Descent是在正确地进行？
数学家们已经证明，当Alpha足够小，J就会每次迭代后都下降。
所以，就可以画图，横轴是迭代的次数，纵轴是cost function的值：
如果是正确的话，那么每次都用迭代后得到的Theta代入J，J应该是下降的。
如果曲线是上升的，说明Gradient Descent用错了，此时需要将Alpha调小。
因为Alpha较大的话，就会过头而错过最小值，进而表现越来越差，造成曲线是上升的：
但是当Alpha太小的话，收敛就会很慢。
补充：
到底需要多少次迭代才会收敛，是与算法和数据有关的。
自动检测是否收敛的方法：
但是这个阈值是很难去确定的。
2. 如何选择Alpha？
在实践中：
可以尝试一系列Alpha的值，0.001，0.01，0.1，1等。
技巧3. 如何选Feature？
在实践中：
你可以不只是用给定的因素，而是通过思考，看哪些因素也是影响预测目标的原因，或者由原始的因素间，进行加减乘除等运算，自己构建Feature。
有一种比较普遍的构建方法，就是多项式。
后续会介绍一些算法，是用来自动选择Feature的。
方法2. Normal Equation
它是另一种求解最小值的方法，是通过分析的方式，而不是迭代。
根据线性代数的知识，得到Theta的求解公式：
m个Sample数据，n个Feature，那么Design Matrix的维度就是 m＊(n＋1)。
当 X｀X 不可逆的时候，该怎么办？
造成不可逆的原因可能主要有两个：
一个是变量间具有相关性，比如一个变量以线性相关关系的形式被用作两个变量。
另一个原因是用了太多的Feature，就是m<=n时，比如说只用10个Sample去做101个Feature的预测。
这两种情况下的解决方案就是，要么删掉一些Feature，要么采用Regularization，后续。
D. 两种方法比较
用 Normal Equation 的话，就不用做 Feature Scaling 了。
当 Feature 有很多，成千上百万的时候，Gradient Descent 也仍然有效，但是 Normal Equation 因为要计算矩阵的转置，乘积，还有逆，就不适用于这样的数量级的计算。一般在 1000 级别的还可以用 Normal Equation。
