监督学习

非监督学习

监督学习的一般流程与术语
x和y

训练模型

训练模型即最小化代价函数的过程，有如下方法

梯度下降法

模型下降法(Gradient Descent)有一个很形象的帮助理解的方法(对于2个参数的情况)

快速收敛的Tricks

经验为主

特征缩放(Feature Scaling)

• 均值归一化(Mean Normalization)

损失函数变大

学习率过大，overshooting

线性回归(Linear Regression)

损失函数：

逻辑回归(Logistic Regression)

损失函数：
最大似然估计(maximum likelihood estimation)

不用手动选择alpha(线性搜索法line search自动选择)
比梯度下降法更快
更复杂

多分类问题

共轭梯度法(Conjugate Gradient)
DFP
BFGS

overfitting：有太多feature，hypothesis很容易拟合当前数据，loss接近0，但是不能很好的泛化
high variance