参考文章
本文主要介绍了随机梯度下降（SGD），批量随机梯度下降、小批量随机梯度下降（BSGD），动量梯度下降（Momentum），Nesterov加速梯度法，Adagrad法，Adadelta法，RMSprop法，适应性动量估计法（Adam）。
梯度下降法是一种通过目标函数梯度反方向更新模型参数，来最小化模型参数的目标函数
的方法。学习速率
决定了我们前往（局部）极小值的步长。换言之，我们沿着目标函数所构造曲面的斜面按向下的方向走动，直到我们到达山谷。
批量随机梯度下降
普通的梯度下降，也称批量梯度下降，利用所有的训练数据计算目标函数的梯度。
由于我们每进行一次参数更新需要计算整体训练数据的梯度，批量梯度下降会变得很慢并且一遇到内存吃不下数据就挂了。同时批量梯度下降也无法支持模型的在线更新，例如，新的样本不停的到来。
随机梯度下降（SGD）
由于批量梯度下降时更新每一个参数时，都要用到所有的样本数，所以训练速度会随着样本数的增加而变得很慢。随机梯度下降正是为了解决这个问题而提出的，它就是利用每个样本依次一个个的对求偏导得到对应的梯度，来更新
：
随机梯度下降就是每个样本依次来迭代更新一次，如果样本量很大的情况下，可能只用其中几万条或者几千条的样本，就可以将迭代到了最优解。对比批量梯度下降，迭代一次需要用十几万训练样本，一次迭代不可能最优，如果迭代10次的话就需要遍历训练样本10次。但是，SGD伴随的一个问题就是噪声较多，使得SGD并不是每次迭代都向着整体最优化方向。
优点：训练速度快。
缺点：准确度下降，并不是全局最优；不利于并行实现。
小批量随机梯度下降（MBGD）
即使算法的训练过程比较快，但是并不能保证最终参数训练的准确性，为了解决这个问题。就是小批量梯度下降法的来源。
三个算法对比
1、批量梯度下降每次更新使用了所有的训练数据去最小化损失函数，缺点就是如果样本值很大的话，更新速度会很慢。
2、SGD在每次更新的时候，只考虑了一个样本点，这样会加快训练过程，不过有可能由于训练数据的噪声点较多。在每一次利用噪声点进行更新的过程中，就不一定是朝着极小值方向更新。但是，由于更新多轮，整体方向还是大致朝着极小值方向更新，又提高了速度。
3、MBGD综合了两者的优点，既可以加快更新速度，又可以保证最终参数训练的准确性。
动量梯度下降法
Momentum是一种帮助SGD在相关方向进行加速并抑制振荡的方法，如图3所示。它通过向当前更新向量中加入上一时刻的更新向量的部分实现上述功能。
一般来说，一般取接近1的值，比如说0.9这种，Momentum方法可以帮助SGD在相关的方向加速前进，并减少它的震荡。
同样，我们可以看到，参数更新时不仅考虑当前梯度值，而且还加上了一个累积项（动量）。本质上说，动量项在梯度指向方向相同的方向逐渐增大，对梯度指向改变的方向逐渐减小。由此，我们可以得到更快的收敛速度，以及减弱的震荡。
加速梯度法Nesterov accelerated gradient(NAG)
不仅增加了动量项，并且在计算梯度时，使用了根据动量项预先估计的参数，在Momentum的基础上进一步加快收敛，提高响应性。
以上两种方法在每次学习过程中根据损失函数的斜率做到自适应更新来加速收敛。
下边介绍根据不同参数的特性自适应调整其学习速率。
Adagrad法
Adagrad是一个基于梯度的优化算法，它的主要功能：对不同的参数调整学习率，具体而言，对低频出现的参数进行大的更新，对高频出现的参数进行小的更新。因此很适合与处理稀疏数据。
适应性动量估计法Adam
怎么选择合适的优化算法
1、对于稀疏数据，尽量使用学习率可自适应的优化方法，不用手动调节，而且最好采用默认值。
2、如果在意更快的收敛，并且需要训练较深较复杂的网络时，推荐使用学习率自适应的优化方法。
3、Adadelta，RMSprop，Adam是比较最近的算法，在相似的情况下表现差不多。
4、在想使用带动量的RMSprop，或者Adam的地方大多可以使用Nadam可以取得更好的效果。
Adam算法是传统的Momentum和RMSprop的结合；NAdam算法而是Adam和Nesterow算法的结合。
