2018-12-25模型选择和训练/验证/测试集

模型选择和训练/验证/测试集

仅仅因为学习算法很好地适合训练集,这并不意味着它是一个很好的假设。 它可能过度适应,因此您对测试集的预测会很差。 在您训练参数的数据集上测量的假设误差将低于任何其他数据集的误差。

鉴于许多具有不同多项式度的模型,我们可以使用系统方法来识别“最佳”函数。 为了选择假设的模型,您可以测试每个多项式的次数并查看错误结果。

将数据集分解为三组的一种方法是:

训练集:60%    交叉验证集:20%     测试集:20%

我们现在可以使用以下方法为三个不同的集合计算三个单独的错误值:

1.使用每个多项式度数的训练集优化Θ中的参数。

2.使用交叉验证集找到具有最小误差的多项式度数d。

3.使用带有J_{test}(\theta ^{(d)} ) 的测试集估计泛化错误(d =具有较低误差的多项式的theta);

误差
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容