原载于https://zhuanlan.zhihu.com/p/38709373
原载于https://stats.stackexchange.com/questions/29130/difference-between-neural-net-weight-decay-and-learning-rate
权重衰减（weight decay）与学习率衰减（learning rate decay）
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
推荐阅读更多精彩内容
- 一、学习率衰减的概念和必要性 学习率过大，在算法优化的前期会加速学习，使得模型更容易接近局部或全局最优解。但是在后...
- 这8种学生永远拿不到高分！早看早受益！ 下面是一位资深班主任总结了8种成绩提不上去的原因，分别对应8类孩子，如果你...
- 这8种学生永远拿不到高分！早看早受益！ 下面是一位资深班主任总结了8种成绩提不上去的原因，分别对应8类孩子，如果你...
- 学习率衰减(Learning rate decay) 加快学习算法的一个办法就是随时间慢慢减少学习率，我们将之称为...
