20、LS 共轭梯度法

本节我们将介绍 $~\rm{HS}~$ 共轭梯度法，只是简单的介绍一下，其收敛性的证明和 $~\rm{PRP}~$ 共轭梯度法类似。

1、简介

LS 共轭梯度法是由 Liu 和 Storey $^{[1]}$ 提出在 1991 年提出的一种非线性共轭梯度法，这种方法具有如下形式：
$x_{k+1}=x_k+\alpha_k d_k,\tag{1}$
$d_k=\begin{cases} -g_k,\quad & k=1,\\ -g_k+\beta_k d_k, &k\ge 2,\end{cases}\tag{2}$
其中参数 $~\beta_k~$ 由以下公式计算：
$\beta_k^{LS}=\frac{g_k^T(g_k-g_{k-1})}{-g_{k-1}^Td_{k-1}}.\tag{3}$
我们现在给出方向 $~d_k~$ 的一种特殊性质，即存在 $~c>0~$ ，使得
$-g_k^T d_k\ge c\Vert g_k\Vert^2\tag{4}$
我们把具有 $~(4)~$ 的性质，也称为 $~d_k~$ 具有充分下降性。

2、收敛性分析

定理：设目标函数 $~f(x)~$ 水平集有界，且导数 $~\rm{Lipschitz}~$ 连续，考虑方法 $~(1)-(2)~$ ，其中参数 $~\beta_k=\left\{~0,\beta_k^{HS}\right\}~$ ，步长因子 $~\alpha_k~$ 满足 $~(4)~$ 和
$\sum_{k\ge 1}\frac{(g_k^T d_k)^2}{\Vert d_k\Vert^2}<\infty\tag{5}$
则有
$\lim\inf\Vert g_k\Vert=0\tag{6}$
注：证明过程完全类似于前面 $~\rm{PRP}~$ 共轭梯度法，在此就省略不写。

3、结束语

这或许是写的最少的一篇文章吧。当然写的内容也没有人看，但是我会看，会思考，这就足够了呀。参考文献如下
[1] Liu Y, Storey C. Efficient generalized conjugate gradient algorithms, I. Theory[J]. J Optim Theorey Appl, 1991, 69(1): 129-137.

20、LS 共轭梯度法

1、简介

2、收敛性分析

3、结束语

推荐阅读更多精彩内容