https://baike.baidu.com/item/%E6%8B%9F%E7%89%9B%E9%A1%BF%E6%B3%95/9340944?fr=ge_ala
拟牛顿法(Quasi-Newton Methods)是求解非线性优化问题最有效的方法之一。
基本概念
播报
编辑
拟牛顿法和最速下降法(Steepest Descent Methods)一样只要求每一步迭代时知道目标函数的梯度。通过测量梯度的变化，构造一个目标函数的模型使之足以产生超线性收敛性。这类方法大大优于最速下降法，尤其对于困难的问题。另外，因为拟牛顿法不需要二阶导数的信息，所以有时比牛顿法(Newton's Method)更为有效。如今，优化软件中包含了大量的拟牛顿算法用来解决无约束，约束，和大规模的优化问题。
拟牛顿法是解非线性方程组及最优化计算中最有效的方法之一.它是一类使每步迭代计算量少而又保持超线性收敛的牛顿型迭代法。
拟牛顿法还有很多具体算法，这类算法最早是由戴维登(Davidon，W.D.)于1959年提出的，弗莱彻(Fletcher，R.)和鲍威尔(Powell，M.J.D.)于1963年给出了后来称为DFP的秩2拟牛顿法，布罗依丹(Broyden，C.G.)于1965年给出了秩1拟牛顿法.方法的收敛性是20世纪60年代末到20世纪70年代才逐渐被证明的.由于这类方法受到广泛注意，从20世纪60年代到20世纪70年代近20年中，前后发表了一千多篇文章，提出了很多不同的算法及收敛性证明。中国也有一些学者在这方面做出很好的结果
更多细节见文首链接
