第十章 共轭方向法

10.1引言

从效率上，共轭方向法位于最速下降法和牛顿法之间，具有以下特性：
1、对于n维二次型问题，能够在n步之内得到结果。
2、作为共轭方向法的典型代表，共轭梯度法不需要黑塞矩阵。
3、不需要存储n*n的矩阵，也不需要求逆。

10.2 基本的共轭方向算法

针对n维二次型函数的最小化：
f(x) = \frac{1}{2}x^TQx-x^Tb
其中，Q=Q^T>0, x \in R^n。
基本的共轭方向算法。给定初始点x^{(0)}和一组关于Q共轭的方向d^{(0)},d^{(1)},...,d^{(n-1)},迭代公式为：
g^{(k)}=\nabla f(x^{(k)}) = Qx^{(k)}-b\\ \alpha_k=-\frac{g^{(k)^T}d^{(k)}}{d^{(k)^T}Qd^{(k)}}\\ x^{(k+1)}=x^{(k)}+\alpha_kd^{(k)}

10.3 共轭梯度法

共轭梯度法不需要提前给定Q共轭方向，而是随着迭代不断产生Q共轭方向，在每次迭代中，利用上一个搜索方向和目标函数在当前迭代点的梯度向量之间的线性组合构造一个新方向，使其与前面已经产生的搜索方向组成Q共轭方向。这就是共轭梯度法这一名字的由来。


©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

相关阅读更多精彩内容

  • 共轭梯度法初步
    共轭梯度法及其浅显分析 更多内容请关注我的个人博客浩源小站 背景 无处不在的线性方程组,昭示着一个优秀的算法能带来...
    HaoYuan_He阅读 9,734评论 1赞 9
  • Machine Learning
    概率论与数理统计 无穷小阶数 无穷小量表述：线性逼近 相当于利用切线和斜率来理解误差和逼近。 泰勒级数：线性逼近 ...
    Babus阅读 871评论 0赞 1
  • 梯度下降法（Gradient Descent）
    转载-刘建平Pinard-www.cnblogs.com/pinard/p/5970503.html 在求解机器学...
    商三郎阅读 3,622评论 0赞 2
  • XGBoost与GBDT(一)-几种最优化方法对比
    前言 发现了作者的一个pptGBDT算法原理与系统设计简介,从头复习了一波相关的内容,写两篇记录下来.从根本上来说...
    MashoO阅读 4,752评论 0赞 3
  • Hulu面试题(三)
    https://mp.weixin.qq.com/s/BuHiG9FjX-OiSNWx3KquQQ 17.随机梯度...
    _龙雀阅读 4,051评论 0赞 4

友情链接更多精彩内容