1. 概述
之前简单介绍了凸函数的定义，相信大家对凸函数有了简单的认识，但是这是远远不够的，这次通过一些详细的函数讲解来介绍一下部分常见凸函数的特点。
2. 凸函数的四个定义：
（1）第一个定义：如果X为在实数向量空间的凸集。并且有映射
，如果
被称为凸，则有![\forall x_1,x_2\in X,\forall t\in[0,1]: f(tx_1+(1-t)x_2)\leq tf(x_1)+(1-t)f(x_2).](https://math.jianshu.com/math?formula=%5Cforall%20x_1%2Cx_2%5Cin%20X%2C%5Cforall%20t%5Cin%5B0%2C1%5D%3A%20f(tx_1%2B(1-t)x_2)%5Cleq%20tf(x_1)%2B(1-t)f(x_2).)
如果F被称为严格凸，那么有：%3A%20f(tx_1%2B(1-t)x_2)%5Cngeq%20tf(x_1)%2B(1-t)f(x_2).)
（2）第二个定义：有映射%3Df(x%2Btv)%E4%B8%BA%E5%87%B8)
，
（3）第三个定义：若可微，对%5Cgeq%20f(x)%2B%5Cnabla%5ETf(y-x))
（4）第四个定义：二阶条件，若
二阶可微，则%5Cgeq0%2C%5Cforall%20x%5Cin%20dom%20f)
（这里的大于等于号是表示特征值大于等0，表示矩阵半正定） 。
这四个定义在不同地方均有用处，但在判断函数是否为凸函数时最常用的是第四个。其中)
为Hessian矩阵，表示函数的二阶偏导矩阵。
3. 常见凸函数：
（1）仿射函数：%3DAx%2Bb)
,显然，其二阶导函数为%3D0)
，所以仿射函数为凸函数。
（2）指数函数：%3De%5E%7Bax%7D%2Cx%5Cin%20R)
,显然%3Dae%5E%7Bax%7D%EF%BC%8Cf%5E%7B''%7D(x)%3Da%5E2e%5E%7Bax%7D%5Cgeq0)
,所以指数函数是凸函数。
（3）幂函数：%3Dx%5Ea%EF%BC%8Cx%5Cin%20R_%7B%2B%2B%7D)
,接着求导啊求导~，%3Dax%5E%7Ba-1%7D)
，%5Cbegin%7Bcases%7D%20%5Cgeq%200%2Ca%5Cgeq1%20%E6%88%96a%5Cleq0%20%EF%BC%88%E5%87%B8%E5%87%BD%E6%95%B0%EF%BC%89%5C%5C%20%5Cleq%200%2C0%5Cleq%20a%5Cleq1%20%EF%BC%88%E5%87%B9%E5%87%BD%E6%95%B0%EF%BC%89%5Cend%7Bcases%7D)
，显然啦，当
时，幂函数就成为了仿射函数，所以即凸又凹。
（4）负熵函数：%3Dxln%7Bx%7D%2Cx%5Cin%20R_%7B%2B%2B%7D)
,还是求导，%3Dlnx%2B1%EF%BC%8Cf%5E%7B''%7D(x)%3D%5Cfrac%7B1%7D%7Bx%7D%5Cnleq0)
,嗯，还是个严格凸函数。（也是个非常重要的函数！！）
（5）极大值函数（重中之重）：现在来一个比较复杂却非常常见的函数：%20%3D%20max%5C%7Bx_1%2Cx_2%2C...%2Cx_n%5C%7D)
这个函数显然是不可导的，那么首先根据定义一来看一下是否为凸函数。取两值
，构造凸组合的新值y%EF%BC%8Cf(%5Ctheta%20x%2B(1-%5Ctheta)y)%3Dmax%5C%7B%5Ctheta%20x_i%2B(1-%5Ctheta)y_i%5C%7D%5Cleq%20%5Ctheta%20max%5C%7Bx_i%2Ci%3D0%2C1..n%5C%7D%2B(1-%5Ctheta)max%5C%7By_i%2Ci%3D0%2C1..n%5C%7D%3D%5Ctheta%20f(x)%2B(1-%5Ctheta)f(y))
,发现满足凸函数定义，所以极大值函数时凸函数。但是啊，由于其无法求导，后续处理会出现各种问题。所以，这里有一个解析逼近，就是用一个解析函数去逼近极大值函数。这个函数是这样的
：%3Dlog(e%5E%7Bx_1%7D%2B...%2Be%5E%7Bx_n%7D)%2Cx%5Cin%20R%5En%EF%BC%8C%E4%B8%94%E6%9C%89%E6%80%A7%E8%B4%A8max%5C%7Bx_i%5C%7D%5Cleq%20f(x)%5Cleq%20max%5C%7Bx_i%5C%7D%2Bln(n))
那么来证明一下这个函数也是凸函数吧！这里就要用到凸函数的第四个定义了，轮到Hessian矩阵出场了。对上述函数求二次偏导得到如下关系（公式打得累死）：
%5E2%7D%2Ci%5Cneq%20j%2C%20%5Cfrac%7B%5Cpartial%5E2f%7D%7B%5Cpartial%7Bx_i%7D%5Cpartial%7By_i%7D%7D%3D%5Cfrac%7B-e%5E%7Bx_i%7De%5E%7Bx_i%7D%2Be%5E%7Bx_i%7D(e%5E%7Bx_1%7D%2B...e%5E%7Bx_n%7D)%7D%7B(e%5E%7Bx_1%7D%2B...e%5E%7Bx_n%7D)%5E2%7D%2Ci%3Dj%5Ctag%7B1%7D)
这个式子看上去也很丑，那么定义列向量![z=[e^{x_1},...,e^{x_n}]^T](https://math.jianshu.com/math?formula=z%3D%5Be%5E%7Bx_1%7D%2C...%2Ce%5E%7Bx_n%7D%5D%5ET)
,那么(1)式就变成了%5E2%7D%2Ci%5Cneq%20j%2C%20%5Cfrac%7B%5Cpartial%5E2f%7D%7B%5Cpartial%7Bx_i%7D%5Cpartial%7By_i%7D%7D%3D%5Cfrac%7B-e%5E%7Bx_i%7De%5E%7Bx_i%7D%2Be%5E%7Bx_i%7D(1%5ETz)%7D%20%7B(1%5ETz)%5E2%7D%2Ci%3Dj)
,函数的Hessian矩阵可以写成%3D%5Cfrac%7B1%7D%7B(1%5ETz)%5E2%7D((1%5ETz)diag(z)-zz%5ET)%2C%E5%8F%A6%E5%90%8E%E9%A1%B9%E7%9F%A9%E9%98%B5%E4%B8%BAK%EF%BC%8Cdiag(z)%EF%BC%8C%E4%B8%BA%E5%90%91%E9%87%8Fz%E5%B1%95%E5%BC%80%E7%9A%84%E5%AF%B9%E8%A7%92%E7%9F%A9%E9%98%B5)
那么大家还记得半正定矩阵如何证明么？就是
成立，那么A则为半正定矩阵。好，那么开始构造！！V%5ETdiag(z)v-V%5ETzz%5ETV%3D(%5Csum_iz_i)%5Csum_i(V_i%5E2z_i)-(%5Csum_iv_iz_i)%5E2%5Ctag%7B2%7D)
另
,那么(2)式就变成了:(a%5ETa)-(a%5ETb)%5E2%5Cgeq0%5Ctag%7B3%7D)
此式成立，用到的性质为柯西-施瓦茨不等式,所以
函数为凸函数。
（6）行列式的对数：%3D%5Clog%20det(X)%2Cdom%20f%3DS%5En_%7B%2B%2B%7D)
，首先说明一下啊，当矩阵X只有一维时，那么原函数则为
，显然是凹函数。所以我们是在已经知道其为凹函数的前提下证明它是凹函数的了~根据凸函数的第二个定义当
，构造凸组合的函数%3Df(z%2Btv)%3D%5Clog%20det(z%2Btv)%3D%5Clog%20det(z%5E%7B%5Cfrac%7B1%7D%7B2%7D%7D(I%2Btv%5E%7B-%5Cfrac%7B1%7D%7B2%7D%7Dvz%5E%7B-%5Cfrac%7B1%7D%7B2%7D%7D)z%5E%7B%5Cfrac%7B1%7D%7B2%7D%7D)%5Ctag%7B4%7D)
继续化简得到为：%2C%E5%85%B6%E4%B8%AD%5Clambda_i%5Cgeq0%5Ctag%7B5%7D)
接着只要分析这个式子就可以，求导即可，得到：%3D%5Csum_i%5Cfrac%7B%5Clambda_i%7D%7B1%2Bt%5Clambda_i%7D%2Cg%5E%7B''%7D(t)%3D%5Csum_i%5Cfrac%7B-%5Clambda_i%5E2%7D%7B(1%2Bt%5Clambda_i)%5E2%7D%5Cleq0%5Ctag%7B6%7D)
到这里证明就结束了，原函数为凹函数得证。
4. 总结：
可见啊，分析函数凸性一般都是通过其
矩阵来分析，但是对于部分凸函数的证明也不是简单的，总体的计算过程也在越来越复杂，后面会逐步讲解凸问题的理论与求解。但是在证明的过程中会发现，其理论也是一步一步建立起来的，弄懂了原理之后看问题就会举一反三了。
