1.1

        考虑两个命题A,B，充分性与必要性的定义

        元素，集合，子集，空集，并集，交集，笛卡尔积

        向量，元组，球

        边界集，内部集，开集，闭集、


        凸集：

        对S\subset X，若x,y\in S\Rightarrow\alpha x+(1-\alpha)y\in S,\forall \alpha\in[0,1]，则S为凸集


        映射f:D\rightarrow R

        单射one-to-one

        满射onto

        双射bijection


        设C为凸集，函数f:C\rightarrow\mathbb R

①凹函数f(\alpha x+(1-\alpha)y)\geq\alpha f(x)+(1-\alpha)f(y)

②严格凹函数f(\alpha x+(1-\alpha)y)>\alpha f(x)+(1-\alpha)f(y)

③凸函数f(\alpha x+(1-\alpha)y)\leq\alpha f(x)+(1-\alpha)f(y)

④严格凸函数f(\alpha x+(1-\alpha)y)<\alpha f(x)+(1-\alpha)f(y)


        函数f:\mathbb R\rightarrow\mathbb R在点x^0处连续，若\forall \varepsilon>0,\exists\delta>0满足，d(x,x^0)<\delta\Rightarrow d(f(x),f(x^0))<\varepsilon


        n元二次型：

Q(x_1,...,x_n)=a_{11}x_1^2+a_{12}x_1x_2+...+a_{ij}x_ix_j+...+a_{nn}x_n^2

        其中Q(x)=x^TAx

        正定，负定，半正定，半负定，不定


        令A为对称矩阵且D_k为其顺序主子式

        A为正定矩阵，若D_k>0,\forall k=1,...,n

        A为负定矩阵，若(-1)^kD_k>0,\forall k=1,...,n

        最优化问题：\max_{x_1,x_2}f(x_1,x_2)\qquad s.t.\quad g(x_1,x_2)=0

        点x^*\in S为局部最优，若\exists B(x^*)s.t.f(x^*)\geq f(x),\forall x\in B(x^*)

        点x^*\in S为全局最优，若f(x^*)\geq f(x),\forall x\in S


        令f(x)为定义在区域D内部、二阶连续可导的函数

    ①若点x^*为局部最优，则f^\prime_i(x^*)=0,i=1,..,n

    ②若点x^*满足f^\prime_i(x^*)=0,i=1,..,n，则x^*为驻点


        Hessian矩阵H(x)=(f_{ij}(x))_{n\times n}，x^*,\tilde x\in D为内点

        内部最优的必要条件：

①若f(x)在x^*达到最大值，则H(x^*)为半负定

②若f(x)在\tilde x达到最小值，则H(\tilde x)为半正定

        内部最优的充分条件：

①若H(x^*)为负定，则f(x)在x^*达到最大值

②若H(\tilde x)为正定，则f(x)在\tilde x达到最小值


        拉格朗日方法：

\max_{x_1,x_2}f(x_1,x_2)\qquad s.t\quad g(x_1,x_2)=0

        构造拉格朗日函数：

\mathcal L(x_1,x_2,\lambda)=f(x_1,x_2)+\lambda g(x_1,x_2)

        一阶条件：\frac{\partial\mathcal L}{\partial x_1}=\frac{\partial\mathcal L}{\partial x_2}=\frac{\partial\mathcal L}{\partial \lambda}=0


        包络问题：

M(a)=\max_xf(x,a)\qquad s.t.\quad g(x,a)=0

        则由包络定理有：

\frac{\partial M(a)}{\partial a_j}=\frac{\partial\mathcal L}{\partial a_j}|_{x(a),\lambda(a)},j=1,...,m


        加边Hessian矩阵：即最大最小化问题的二阶条件

        考虑\mathcal L=f(x_1,...,x_n)+\sum_{j=1}^m\lambda_j[a_j-g_j(x_1,...,x_n)]，其中m<n

        自H^B开始，检验n-m个主子式

    ①若|H^B|的符号为(-1)^n且其余主子式依次改变符号，则x^*为最大值点

    ②若主子是的符号均为(-1)^m，则x^*为最小值点

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。