线性回归难点
1. 两种求解方式,其中解析解不一定有解,取决于X^T * X 是否可逆,如果不可逆是不存在的
2. 线性回归是平方差损失函数,这里需要注意,这个很容易过拟合,所以最好加正则项。
softmax核心点
我觉得就一条,是损失函数使用交叉熵而不用平方差损失函数,原因是在这个场景中平方差损失函数很容易陷入鞍点,不是一个平滑的凸函数。如果求导会发现很容易陷入非平滑区,换句话说就是梯度很低的位置,这样很难更新参数
线性回归难点
1. 两种求解方式,其中解析解不一定有解,取决于X^T * X 是否可逆,如果不可逆是不存在的
2. 线性回归是平方差损失函数,这里需要注意,这个很容易过拟合,所以最好加正则项。
softmax核心点
我觉得就一条,是损失函数使用交叉熵而不用平方差损失函数,原因是在这个场景中平方差损失函数很容易陷入鞍点,不是一个平滑的凸函数。如果求导会发现很容易陷入非平滑区,换句话说就是梯度很低的位置,这样很难更新参数