学习率相关

https://baijiahao.baidu.com/s?id=1591271039698173396&wfr=spider&for=pc

1.什么是学习率？

学习率是指导我们该如何通过损失函数的梯度调整网络权重的超参数。学习率越低，损失函数的变化速度就越慢。虽然使用低学习率可以确保我们不会错过任何局部极小值，但也意味着我们将花费更长的时间来进行收敛。

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容

  • 6. 深度学习-优化器
    有前面的知识，我们知道如何构建目标函数了，当目标函数构建出来后，如何求其参数使的目标函数最小化呢？这就是这一小节的...
    李涛AT北京阅读 4,461评论 0赞 0
  • DeepL
    基本概念 https://chenrudan.github.io/blog/2014/06/26/dl1basec...
    SMSM阅读 7,372评论 0赞 0
  • MSE与MAE的区别与选择
    均方误差 均方误差(MSE)是最常用的回归损失函数，计算方法是求预测值与真实值之间距离的平方和，公式如图。下图是M...
    请不要问我是谁阅读 76,065评论 2赞 16
  • 深度学习中初学者应该知道的名词
    姓名：乐仁华 学号：16140220023 转载自：http://baijiahao.baidu.com...
    小乐杂货铺阅读 3,375评论 0赞 1
  • 绑 架
    10点了，陈木拖着疲惫的躯壳回到了哥哥家里。周六有如平时，加了一整天班。脑袋里想起，三年前第一次加班，充满干...
    魔里叶阅读 1,898评论 0赞 1