Week 1
监督学习
监督学习：我们已知一个数据集，且知道了正确的输出应该是什么形式，输入和输出之间具有某种联系。两种类型的监督学习问题：回归和分类。
非监督学习
非监督学习：对于结果应该是什么的情况了解很少或没有了解。例子：聚类问题；分辨混乱的聚会录音问题。
线性回归&梯度下降算法
线性回归问题：
image1.png
梯度下降：
image2.png
梯度可以看做是导数，我们想要求目标函数的最小值，转化成求导数最小的点。梯度下降算法从参数的初始值开始，寻找在它附近导数下降最快的方向
Week 2
多元线性回归
多元情况下，我们的假设变成了用多个变量预测y
image3.png
梯度下降实践1-Feature Scaling
当我们在使用梯度下降算法时，可能会遇到下面的问题：
两个变量的量级相差较大，需要很多步才能收敛。如下左图所示。
image4.png
解决方法：
1.（feature scaling）把x除以x的范围，即最大最小值之差
image5.png
上式中si为range（最大最小之差）或者标准差
梯度下降实践2-Learning Rate
怎样选择image2里的learning rate:α?
当梯度下降算法运用正确时，曲线下降：
image6.png
曲线出现其他形状，说明对应的α选择有问题：
image7.png
多项式回归
Normal Equation
我们想要求解image1的问题，不只有梯度下降算法，还可以直接求normal equation：
image8.png
两种方法的区别：
image9.png
