梯度下降原理
直观解释：比如我们在一座大山上的某处位置，由于我们不知道怎么下山，于是决定走一步算一步，也就是在每走到一个位置的时候，求解当前位置的梯度，沿着梯度的负方向，也就是当前最陡峭的位置向下走一步，然后继续求解当前位置梯度，向这一步所在位置沿着最陡峭最易下山的位置走一步。这样一步步的走下去，一直走到觉得我们已经到了山脚。当然这样走下去，有可能我们不能走到山脚，而是到了某一个局部的山峰低处。
从上面的解释可以看出，梯度下降不一定能够找到全局的最优解，有可能是一个局部最优解。当然，如果损失函数是凸函数，梯度下降法得到的解就一定是全局最优解。
梯度法思想的三要素：出发点、下降方向、下降步长。
引入：当我们得到一个目标函数后，如何进行求解？
直接求解？（并不一定可解，线性回归可以当做是一个特例）
常规套路：机器学习的套路就是我交给机器一堆数据，然后告诉它什么样的学习方式是正确的（目标函数），然后让它朝着这个方向去做
如何优化：一口吃不成个胖子，我们要静悄悄的一步一步完成迭代
举个栗子：
目标函数：
目的：寻找山谷的最低点，也就是我们的目标函数终点（什么样的参数能使得目标函数达到极值点）
下山分几步走呢？（更新参数）
（1）找到当前最合适的方向
（2）走那么一小步，求解当前位置梯度
（3）按照方向与步伐去更新我们的参数
梯度下降方法对比
梯度下降，目标函数：
批量梯度下降：
参数θ的每次更新，需要 计算全部数据集的样本的负梯度方向，取均值作为下一次梯度下降的方向。
特点：
计算量大，参数更新慢，对内存的要求很高，不能以在线的形式训练模型，也就是运行时不能加入新样本
理论上讲，可以得到全局最优解，参数更新比较稳定，收敛方向稳定
随机梯度下降：
每次只选择一个样本来求得偏导，进行参数θ的更新。
特点：
运算速度很快，同时能够在线学习
随机梯度下降参数更新的过程震荡很大，目标函数波动剧烈，参数更新方向有很大的波动
其较大的波动可能收敛到比批量梯度下降更小的局部极小值，因为会从一个极小值跳出来
小批量梯度下降法：
该方法集合了批量梯度下降和随机梯度下降两者的优势，每次的参数更新利用一小批数据来完成。
特点：
降低了更新参数的方差，使得收敛过程更加的稳定
能够利用高度优化的矩阵运算，很高效的求得每小批数据的梯度
学习率对结果的影响
学习率（步长）：对结果产生巨大的影响，一般要小一些。学习速率的选择，可以尝试0.001、0.01、0.1、1。选择一个最大的学习速率，然后选择一个比它小一点点的学习率，通常能够找到最合适的学习速率来解决我们的问题。
批处理数量：32,64,128都可以，一般还要考虑内存和效率。
