凸优化(三)——凸函数

〇、说明

凸优化主要学习《凸优化》(Stephen Boyd等著,王书宁等译)[1]这本书。学习过程中,对其内容的理解时有困惑,也参考一些其他书籍资料。笔者尽量将这部分知识整理地简洁明了,成此系列笔记。

如有错误疏漏,烦请指出。如要转载,请联系笔者,hpfhepf@gmail.com。

一、定义

图1[1]

直观的,图1是一维凸函数的示例。一维情况下,不严格的说,凸函数是弦在上的函数。

注意:在不同的教科书和资料中,对凸函数的定义有可能是相反的,在机器学习领域,一般都使用这个定义。

二、性质

2.1、一阶条件

2.2、二阶条件

2.3、下水平集

2.4、上境图

三、典型凸函数

A、线性函数和仿射函数

B、指数函数

C、负熵

D、范数

四、保凸运算

非负加权求和、复合仿射映射、逐点最大和逐点上确界、复合等。

五、Jensen不等式

Jensen不等式,又叫詹森不等式,以丹麦数学家约翰·詹森(Johan Jensen)命名。

5.1、常规形式

5.2、概率形式

5.3、推广

Jensen不等式用途非常广泛。凸性和Jensen不等式可以构成不等式理论的基础,很多著名的不等式都可以通过Jensen不等式应用于合适的凸函数得到[1]。

例如,算数-几何平均不等式可以由负对数函数利用Jensen不等式得到。

附录

A、参考

[1]、《凸优化》,Stephen Boyd等著,王书宁等译

B、相关目录

凸优化(一)——概述

凸优化(二)——凸集

凸优化(三)——凸函数

凸优化(四)——问题求解

凸优化(五)——回溯直线搜索

凸优化(六)——最速下降法

凸优化(七)——牛顿法

凸优化(八)——Lagrange对偶问题

C、时间线

2016-02-26 第一次发布

2016-08-07 修改文章名,重新整理完善

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 〇、说明 凸优化主要学习《凸优化》(Stephen Boyd等著,王书宁等译)[1]这本书。学习过程中,对其内容的...
    Herbert002阅读 21,869评论 0 11
  • 〇、说明 凸优化主要学习《凸优化》(Stephen Boyd等著,王书宁等译)[1]这本书。学习过程中,对其内容的...
    Herbert002阅读 20,385评论 0 8
  • 〇、说明 最近在学习机器学习方面的算法知识,这里尽量以通俗易懂的方式将其整理一下,一方面以备自己查阅,另一方面如果...
    Herbert002阅读 26,526评论 4 53
  • 〇、说明 凸优化主要学习《凸优化》(Stephen Boyd等著,王书宁等译)[1]这本书。学习过程中,对其内容的...
    Herbert002阅读 34,865评论 5 26
  • 本文结构: 凸优化有什么用? 什么是凸优化? 凸优化有什么用? 鉴于本文中公式比较多,先把凸优化的意义写出来吧,就...
    不会停的蜗牛阅读 5,963评论 2 18