1. Regression回归的应用
股票预测、自动驾驶的角度预测、推荐系统的用户购买可能性。
回归的应用
2. 损失函数
平方损失函数如右图，我们的目的是找到一个使得损失函数最小的w和b。
损失函数
3. 梯度下降
利用梯度下降去求使得损失函数最小的w和b
gradient descent
4. 局部最小值和全局最小值
利用梯度下降的方式会出现局部最小值的问题，但是作者说在线性回归领域不会出现局部最小值的问题【待考究】。
local minimal and global minimal
5. 解释线性回归为什么没有局部最小值
线性回归的损失函数是凸函数(弹幕上讲是U型凸函数)，也就是两边高，中间低，所以就没有局部最小值的问题。
【疑问】什么是凸函数，为什么凸函数没有局部最小值？
右下角的图
6. 根据目标函数做梯度下降
梯度下降
7. 模型选择
模型维度越复杂，训练集上的效果越好，平方损失误差越低。
训练集上效果
但是，维度太高的模型在测试集上的效果很差，这就是过拟合。
过拟合
8. 不同物种的线性回归如何设计
不同物种之间的特性不太一样，那如何redesign线性回归的函数，以适应不同物种能力值的预测
多物种
通过一个信号函数，当属于某一个物种，当前的线性回归表达式乘以1，其他的乘以0。这个信号是存在特征x中。
信号函数
9. L2正则化
加入L2正则化的目的是防止过拟合。
首先L2正则化可以使w的参数越来越小，这个可以从梯度下降下降的公式看出来，梯度更新的时候不仅更新损失函数对w的偏导，还要减去权重之和，所以w的参数值就偏小。
那为什么要让w的参数偏小呢，试想一下，进来了一个噪声样本Xi，经过和线性回归的参数w乘积，就算是噪声样本Xi的某个特征值差的很大，也不会导致最后的预测值偏差太大，相当于平滑(smooth)操作。
正则化
10. 调参
