机器学习bias-variance tradeoff

吴恩达的教程

机器学习训练要保证模型在训练集的准确率高,即低bias(偏差);同时也要保证验证集的准确率,不产生过拟合现象,即保证低variance(方差) 。两者可能互相制约,需要做tradeoff 。

在训练过程中,可以先针对bias做改进,方法包括:选用更大的网络,训练更长时间,或者更换模型。

降低了bias后,如果variance不达标,再针对variance做改进。方法包括:提高数据量,使用正则化,更换模型(如神经网络)。

降低variance后,再观察bias,如此往复,直到得到一个满意的模型。

在深度学习里,只要保证层次够深或者数据够多,可以降低bias的同时不明显提高variance ,或者降低variance 的同时不明显提高bias。这也是深度学习对监督学习大有裨益的一方面。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容