https://www.jianshu.com/p/d7d06edb7061
背景
批量梯度下降法（batch gradient decent）就是我们平时所说的梯度下降，也就是梯度下降过程中，每次更新使用了所有的训练数据，最小化损失函数，找到局部最小值。
当样本量很大的时候，那么更新速度会变慢。假如每次我们只取一个样本更新，这样速度就会快很多。我们每次只取一行样本计算，当成是搜索的方向。
问题解答
批量梯度下降
a）采用所有数据来梯度下降。
b）批量梯度下降法在样本量很大的时候，训练速度慢。
随机梯度下降
a）随机梯度下降用一个样本来梯度下降。
b）训练速度很快。
c）随机梯度下降法仅仅用一个样本决定梯度方向，导致解有可能不是全局最优。
d）收敛速度来说，随机梯度下降法一次迭代一个样本，导致迭代方向变化很大，不能很快的收敛到局部最优解。
