梯度下降法&&随机梯度下降法
代价函数的梯度
权重更新
梯度下降法需要计算全量的训练样本的损失函数的均值，然后更新一次权重，学习速度比较慢。但是可以收敛到全局最优。
随机梯度下降的算法能够加速学习。其思想就是通过随机选取一定量训练输入样本构成一个小批次batch来完成权重和偏置的更新。所有的训练输入用完一次，称为一个训练迭代期（epoch）.
随机梯度下降法的小批量数据m的选择一般有1,10,20。数量越小则训练速度越快，但是波动越明显，受噪声数据和错误数据的影响越大。而且随机梯度下降法会收敛到全局最优值附近，然后随机震荡。
