深度学习 batch size 参数的设置的思考

从实际使用的感受来说,数据及其他参数一致时,batch size设置过大,回归类任务的mse会增大;而在分类任务中,预测精度在batch size较大时,效果几乎无变化(待补充在batch size变化时,epoch数需要如何变化,才能保持预测精度不变)。推测batch size在一定范围内增大时,达到相同效果,可以减少训练时间,或者减少训练epoch数。

  • 回归任务
图1:batch size=50时的预测图
image.png
图2:batch size=500时的预测图
image.png
  • 二分类预测任务
图1:batch size=50时的预测结果及loss曲线
image.png
屏幕快照 2019-08-28 上午11.32.37.png
图2:batch size=500时的预测结果及loss曲线
image.png
屏幕快照 2019-08-28 上午10.57.13.png
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容