最优化理论的方法

一、最优化理论研究什么问题

    1、无约束最优化min \ f(\mathbf x), \quad\mathbf x\in \mathbb R^n

    2、带约束最优化

\min_{x\in \mathbb R^n} f(x) \\ s.t \quad c_i(x) =0,\quad i=1,\cdots,m; \\c_i(x)\ge0,\quad i=m+1,\cdots, n

即研究的是函数最小化问题。（举例说明）

二、最优化方法的基本处理结构：

    1、选定初始点 x_0

    2、确定搜索方向 d_k,依照一定规则，构造 f 在 x_k 点处的下降方向作为搜索方向。

    3、确定步长因子 \alpha_k，使目标函数值有某种意义的下降

    4、令 x_{k+1}=x_k+\alpha_k d_k, 若x_{k+1} 满足某种终止条件，则停止迭代，得到最优解，否则重复（2）步骤。

三、如何确定下降方向

    1、考虑二次式

        f(x) = \frac{1}{2} x^T A x - b^T x + c

        （问题：为什么是二次式呢？）

    2、二次式的可视化

        令上式中A = \begin{bmatrix} 3 & 2 \\ 2 & 6 \end{bmatrix},\quad b = \begin{bmatrix} 2 \\ -8 \end{bmatrix},\quad c=0

        3、应用梯度方法找出下降方向


           问题1：是不是沿梯度下降的方向去选择方向就最好呢？——The Steepest Descent

           问题 2：最优点有什么性质？

    4、对于二次型有


    5、找出下降的步长

        1）精确步长（精确一维线性搜索）

        2）近似步长（不精确）

    6、常见最优化方法

        1）最速下降法

        2）牛顿法

        3）共轭梯度法

        4）拟牛顿法

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容

  • SVM算法原理
    本章涉及到的知识点清单：1、决策面方程2、函数间隔和几何间隔3、不等式约束条件4、SVM最优化模型的数学描述（凸二...
    PrivateEye_zzy阅读 13,349评论 3赞 10
  • 统计学习方法之支持向量机
    【概述】 SVM训练分类器的方法是寻找到超平面，使正负样本在超平面的两侧（分类正确性即“分得开”），且样本到超平面...
    sealaes阅读 11,176评论 0赞 7
  • 数学建模-方法合集
    线性规划 线性规划问题 线性规划（Linear programming,简称LP）是运筹学中研究较早、发展较快、应...
    Roper_被注册阅读 2,869评论 2赞 8
  • 来自印度的刘德华and阿汤哥
    现在是早晨08：36，我要开始酝酿写我的偶像——阿米尔汗。按照我这个夸张脸，米叔应该会被我称神，可是我不愿意呀...
    黑目X阅读 353评论 0赞 0
  • 曾仕强-圆融的人际关系（1）
    中国是《易经》的民族，决定人本位 西方离不开神本位 西方的技术可以学习，跟文化有关的东西要小心 人与人平等就是没大...
    江流大帅哥阅读 673评论 0赞 0