几个优化方法

• 梯度下降法(Gradient Desence)不用多说
• 然后就是Deep Learning中常用的Stochastic Gradient, 提出这个是因为每一次更新计算全部样本对应梯度不划算。而且实验表明每次随机选甚至结果比直接全部算出来要好。
• 接着就是NSG，从算法来看是随机梯度每次加了一点噪声

• PNSG，比起NSG多了个投影的步骤

  
  
  Noisy Stochastic Gradient
  
  
  Projected Noisy Stochastic Gradient

之前的都属于线性搜索，一般步骤是先确定一个方向，然后确定最优步长。
而信赖域方法(Trust Region Method)则是不断改变搜索区域，使得优化方向也改变，进而使下降尽可能多。