Mini-batch 梯度下降

如果训练集较小，直接使用 batch 梯度下降法，样本集较小就没必要使用 mini-batch 梯度下降法，你可以快速处理整个训练集，所以使用 batch 梯度下降法也很好，这里的少是说小于 2000 个样本，这样比较适合使用 batch 梯度下降法。不然，样本数目较大的话，一般的 mini-batch 大小为 64 到 512，考虑到电脑内存设置和使用的方式，如果 mini-batch 大小是 2 的𝑛次方，代码会运行地快一些，64 就是 2 的 6 次方，以此类推，128 是 2 的7 次方，256 是 2 的 8 次方，512 是 2 的 9 次方。

momentum：

RMSprop：

Adam：结合了momentum和RMSprop，本质上还是减小梯度下降过程中在等高线附近的徘徊程度。