〇、说明
凸优化主要学习《凸优化》(Stephen Boyd等著,王书宁等译)[1]这本书。学习过程中,对其内容的理解时有困惑,也参考一些其他书籍资料。笔者尽量将这部分知识整理地简洁明了,成此系列笔记。
如有错误疏漏,烦请指出。如要转载,请联系笔者,hpfhepf@gmail.com。
一、定义
直观的,图1是一维凸函数的示例。一维情况下,不严格的说,凸函数是弦在上的函数。
注意:在不同的教科书和资料中,对凸函数的定义有可能是相反的,在机器学习领域,一般都使用这个定义。
二、性质
2.1、一阶条件
2.2、二阶条件
2.3、下水平集
2.4、上境图
三、典型凸函数
A、线性函数和仿射函数
B、指数函数
C、负熵
D、范数
四、保凸运算
非负加权求和、复合仿射映射、逐点最大和逐点上确界、复合等。
五、Jensen不等式
Jensen不等式,又叫詹森不等式,以丹麦数学家约翰·詹森(Johan Jensen)命名。
5.1、常规形式
5.2、概率形式
5.3、推广
Jensen不等式用途非常广泛。凸性和Jensen不等式可以构成不等式理论的基础,很多著名的不等式都可以通过Jensen不等式应用于合适的凸函数得到[1]。
例如,算数-几何平均不等式可以由负对数函数利用Jensen不等式得到。
附录
A、参考
[1]、《凸优化》,Stephen Boyd等著,王书宁等译
B、相关目录
凸优化(三)——凸函数
C、时间线
2016-02-26 第一次发布
2016-08-07 修改文章名,重新整理完善