文末给出算法的具体实现，心急的话可以直接跳到最后看
写完了才发现有大神写过了，理论也更完备一些
优势
- 该方法不需要手动调整学习速率
- 对超参数不敏感
- 将对每个维度的学习率单独分离出来
- 最小化梯度下降时的计算量
- 对大梯度，噪声，不同架构具有很好的健壮性
- 对本地或分布式环境都可很好的应用
以下介绍一下该算法的一些背景知识
学习率退火
- 在验证准确率趋于平稳的时候降低学习率
- 或者依据迭代了多少周期来控制学习率
- 然而依然需要添加额外的参数控制学习率衰减的速度
Per-Dimension First Order Methods(将对每个维度的学习率单独分离出来?)
由于参数矢量的每个维度都可以以完全不同的方式与全局cost相关，所以可以补偿这些差异的每维度学习速率通常是很有用的。
动量法
- 当梯度指向同一个方向时，加速
-
当梯度的符号一直在改变时（震荡），减速
迭代公式 - ρ用于减速之前的学习率
- 对于长峡谷状的cost表面而言有了不错的改进（相对于SGD）
- 动量法可以将全局学习率依据维度区分出来
ADAGRAD
2012年之前的一个新的方法
-
仅仅使用一阶信息但是有一些二阶的性质和思路在里面（？？）
ADAGRAD η：所有维度共享的学习率
分母是对之前学习率在每个维度的平方的累和（每个维度的梯度是最前所有的梯度在这个维度上的累和，所以是一直增加的）由于这种动态速率随着梯度幅度的倒数而增长，所以较大的梯度具有较小的学习率，而小梯度具有较大的学习率。
因为神经网络中不同层之间的梯度的差距通常达到几个数量级，所以这种方法可以被考虑在内
分母中梯度的积累与退火有这类似的效果，降低了学习的速率。由于梯度在分母中的积累，学习率将逐渐下降最终至0（这个不好）
因为无视了梯度的大小，这种方法对于参数的初始条件和对应的梯度大小可能是敏感的，初始梯度大的话，之后的学习速率会下降。但是可以通过增加全局学习率来缓解这种情况。
使用Second Order Information
- 上述方法仅利用梯度和函数评估来优化目标，二阶方法（如牛顿法或准牛顿法）可以使用黑塞矩阵或近似值。当然计算可能会因此变得更加昂贵。
-
计算黑塞矩阵（多元函数二阶导数打那个矩阵）的逆矩阵开销太大，可以通过对它做对角矩阵的倒数近似（？diagonal approximation）黑塞矩阵的逆矩阵来减少计算量（仅需再多一次额外的forward and back-propagation）
update - μ是改善小曲率区域的黑塞矩阵调节的小常数。
-
引入黑塞矩阵和类ADAGRAD项可以减轻对指定学习率的需要( Schaul发现）
ADADELTA METHOD
对ADAGRAD以下缺点的改进：
- 学习率的持续退火（或shrink）
- 需要人工选择学习率
改进方法1：Accumulate Over Window
- 在一个window
w内对梯度累和，而不是所有的梯度。 -
因为存放 w 之前的梯度是低效的，所以可以用对先前所有梯度均值（使用RMS即均方根值实现）的一个指数衰减作为代替的实现方法。
改进方法2：Correct Units with Hessian Approximation
- 改进希望
∆x和x之间的units一致（？量纲一致，不是很清楚），而SGD，Momentum，ADAGRAD中的units并不一致，所以他们的参数更新都是unitsless的
SGD/Momentum/ADAGRAD:unitsless -
但是使用黑塞矩阵的话可以保证units一致（因为二阶）
Hessian Approximation: correct units -
基于[Becker&LeCun 1988]的近似方法
-
进而
-
最后得出近似黑塞矩阵的逆矩阵的表达式
- 其中假设x附近的曲率是平滑的，而
Xt-1可以近似xt -
最后的x更新表达式
- 由于RMS始终大于0，确保了X更新的方向始终与负梯度同向。
- 分子作为一个加速项，作为动量在时间窗口
w上积累先前的梯度。 - 分母与ADAGRAD相关，因为每维度的平方梯度信息有助于平衡每个维度的进度，而是在一个窗口
w上计算，以确保后期的训练。
最终算法的具体实现
