DL中的各种优化器

学习笔记

BGD (Batch Gradient Decent)批量梯度下降法

1968133328.jpg

SGD (Stochastic Gradient Decent)随机梯度下降法

867810909.jpg

MBGD (Mini Batch Gradient Decent)

1851511481.jpg

Momentum 动量法

460092378.jpg

NAG (Nesterov Accelarated Gradient) 加速梯度下降法

1118211865.jpg

Adagrad

446294705.jpg

Adadelta

1635012168.jpg

1963371273.jpg

RMSprop

图片发自简书App

Adam

图片发自简书App

最后编辑于：2017.12.11 02:57:09

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

cs231n学习笔记-激活函数-BN-参数优化
cite from: http://blog.csdn.net/myarrow/article/details/5...
江州司马binbin阅读 9,318评论 1赞 8
如何选择优化器 optimizer
在很多机器学习和深度学习的应用中，我们发现用的最多的优化器是 Adam，为什么呢？下面是 TensorFlow ...
不会停的蜗牛阅读 28,211评论 3赞 42

深度学习的需要了解的一些术语
激活函数（Activation Function）为了让神经网络能够学习复杂的决策边界（decision bou...
御风之星阅读 5,511评论 0赞 8
Caffe学习笔记4：特殊的层及solver最优化求解
今天总结一下搜到的一些知识：感谢卷积神经网络（CNN）中的一些特殊层 Batch Normalization D...
Zz鱼丸阅读 2,693评论 0赞 1
CS231n (winter 2016) : Assignment1
前言：以斯坦福cs231n课程的python编程任务为主线，展开对该课程主要内容的理解和部分数学推导。该课程的学...
Deepool阅读 49,871评论 33赞 88

赞1赞

赞赏

手机看全文