共轭函数是最优化问题中非常重要的概念,常用来在原问题和对偶问题之间进行转换。
定义
对于原函数,其共轭函数为
其中,
表示两个变量的内积。
注意,这个的共轭函数的定义域要求对有上界。即,共轭函数的值不能无穷大。
几何意义
对于共轭函数的每一个自变量,其取值相当于一条直线与原函数之差的最大值:
这条直线
,其斜率由
决定。
两条曲线之差随着变化,其最大值可以对
求导得到:
即:曲线斜率与直线斜率相同处的
,能够得到最大值。
带入满足条件的x,即可得到共轭函数。
例子
原函数(Negative entropy):原函数为增函数。
对于,
为减函数。则
为减函数,不超过其在零点取值。
对于,
也是增函数
增速小于
增速,故其差有上界。
故,的定义域为
。
找到最大值处的表达式:
代入共轭函数:
参考: