问题
- 如何选择模型？
- 如何验证模型的实现正确与否？
- 如何评价模型？
模型调整方法
- 增加训练集
- 减少特征数（过拟合）
- 增加新的关键特征（欠拟合）
- 增加多项式纬度（欠拟合）
- 调整lambda值
数据集划分
数据划分为训练集，验证集和测试集, 计算其偏差
诊断偏差和方差
通过训练误差和验证误差来判断是存在偏差还是方差问题。训练和验证误差均高，存在偏差（欠拟合）；训练误差低而验证误差高，存在偏差（过拟合）
- 在计算验证误差时，要实用全部验证集
- 在训练时，可以查看训练误差随着数据集增长的变化
正规化的偏差和方差
通过不同的lambda值来考察训练误差和验证误差，从而确定合适的lambda值
学习曲线
通过学习曲线来判断偏差和方差。
错误一直较高，存在偏差问题，增加训练集不能解决问题。
训练和验证集错误存在较大的背离，则增加训练集可能有帮助。
