监督学习
非监督学习
监督学习的一般流程与术语
x和y
训练模型
训练模型即最小化代价函数的过程，有如下方法
梯度下降法
模型下降法(Gradient Descent)有一个很形象的帮助理解的方法(对于2个参数的情况)
快速收敛的Tricks
经验为主
特征缩放(Feature Scaling)
- 均值归一化(Mean Normalization)
损失函数变大
学习率过大，overshooting
线性回归(Linear Regression)
损失函数：
逻辑回归(Logistic Regression)
损失函数：
最大似然估计(maximum likelihood estimation)
不用手动选择alpha(线性搜索法line search自动选择)
比梯度下降法更快
更复杂
多分类问题
共轭梯度法(Conjugate Gradient)
DFP
BFGS
overfitting：有太多feature，hypothesis很容易拟合当前数据，loss接近0，但是不能很好的泛化
high variance
