出现这种现象可能是最开始设置的学习率可能过大，可以试用warm up的方式。
warm up即step小于warm up step时，学习率等于基础学习率×(当前step/warmup_step)，由于后者是一个小于1的数值，因此在整个warm up的过程中，学习率是一个递增的过程, 当warm up结束后，学习率开始递减。
训练神经网络Loss先降后升？
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
推荐阅读更多精彩内容
- 人工智能有两大分支，一支是机器学习，一支叫深度学习，目前后者占据人工智能技术的主流，当前流行的ZAO换脸应用，自动...
- 笔记参考：https://zhuanlan.zhihu.com/p/21407711?refer=intellig...
- 姓名：尤学强 学号：17101223374 转载自：http://mp.weixin.qq.com/s/C6cID...
- ——列举在ImageNet数据集上提高分类性能的训练技巧 ——以ResNet-50为例，将top-1准确率从75....
