凸函数
假设为一个凸集,如果对于任意的都有成立,我们就称为是实值凸函数(real-valued convex function)。 如果上面的小于等于号改成小于号,我们称是严格凸的。
反正,如果是凸函数,我们称是凹函数。如果是严格凸,我们称是严格凹的。
一些常见的凸函数的例子
- 仿射函数
- 范数 一范数,二范数,无穷范数
- 二次函数 ,其中是正定矩阵。
水平集
假设任意函数, 为一个标量,我们称:
为的水平集(level set)。
注意:凸集的水平集一定是凸的,但是反过来不一定。
拓展实值函数
对于一个普通定义在集合上的实值函数,讨论它时可能有诸多问题,因此我们希望可以把定义域拓展到上,由此引出拓展实值函数的概念。
拓展实值函数(extended real-valued function)
- 定义域:从 拓展到。
- 值域:从拓展到
但是我们发现,通过对定义域和值域扩充后无法通过凸函数的定义来判断函数的凸性了,因为无穷大的数无法比较大小。所以我们引入上镜图(epigraph)这一概念。
上镜图
定义:设函数 ,称如下集合:
为函数 的上镜图(epigraph)。
一个实值函数经过拓展后,他的上镜图保持不变。
定义:函数 的有效定义域 (effective domain) 为:
从几何上看, 是 在 上的投影。
Theorem (函数凸性和上镜图凸性)
实值函数 是凸函数当且仅当 是凸集。
Theorem (凸函数连续性)
若 为凸函数,则 是连续函数。
注意:题目中的定义域为是非常必要的,如若不然,很可能结论就是不成立的,我们看下面的例子:
如图,是定义在集合上的凸函数,可以看到,它并不是连续的。
下半连续性
定义:闭函数 (Closed Function)
若函数 的上镜图是闭集,则称 是闭函数 (closed function)。
定义:下半连续 (Lower Semicontinuous)
对于 中任意序列 ,若
则称 在 处下半连续 (lower semicontinuous)。
对下半连续的理解:函数在处实际取到的函数值,比它在处的任何一个极限值都要小。
Theorem (闭性与下半连续)
设函数 ,如下3个条件等价:
- 对于任意数量 ,水平集 是闭的;
- 下半连续;
- 是闭的。