模型训练
模型训练就是找到给定模型最佳函数的过程
一 衡量模型
损失函数
RMSE, MSE
求参数:
利用封闭方程求解
利用梯度下降方法求解
梯度下降可以用来求解以参数为变量的损失函数的最大值。不断更新参数的值，看损失函数是否最小，到最小则停止。
影响梯度下降的优化结果的因素有:
- 学习率Learning Rate
学习率是损失函数对超参数求偏导后的系数值，它决定了梯度下降的速度。 - 特征是否经过缩放
特征缩放可以认为使用其他坐标系观察，缩放特征可以加速梯度下降 - 梯度下降的三类变体
BGD 批量梯度下降，所有数据都参与到梯度下降
SGD 随机梯度下降，每次只选一条样本参与
MBGD 两者中和，随机选取一部分样本
模型可靠性
学习曲线判断
画出这些模型在相应的不同规模的训练集上的表现,即以训练集规模为自变量的误差(分为:在对应规模训练
子集上的误差 和 验证集上的误差)
欠拟合
训练集所得模型效果不佳
解决：
更多特征
更多数据
复杂模型 - 多项式回归
过拟合
- 正则化
-- 岭(Ridge)回归( L2-norm )
-- Lasso回归( L1-norm )
-- ElasticNet( L1 + L2 ) - 早期终止
