Jenson 不等式的笔记

最近看到 EM 算法，其中有用到琴生不等式，在这里做一个笔记。

凸函数和凹函数

在刚开始学习凸函数和凹函数的时候，我们会被凸函数和凹函数的命名所困扰，命名看起来是凹的，一些教材上却偏偏说它是凸函数。其实这个只是一个定义，它叫什么，并不影响函数本身的性质。就像我在 B 站上看到有些人戏称三国时期的武将赵云为“云妹”，你叫他“云姐”、“云妈”都不会改变赵云纯爷们的形象，你管于正叫“于妈”，他本质上还是个男的，你管范冰冰叫“范爷”，她也是个女的，也得嫁人是一个道理。因此大可不必为凸函数、凹函数的命名所纠结，应该结合凸函数、凹函数的性质来记忆。

例1：函数
$y = \log x$

的图像如下：

$y = \log x$ 函数图像

我们暂时先别纠结它叫什么。我们看这个函数有什么性质，和 Jensen 不等式又有什么关系。看图可知是增函数，这个函数的一阶导数 $y\prime = \cfrac{1}{x} > 0$ 也说明了 $y = \log x$ 是增函数。我们知道，导函数的增减性说明了函数的凹凸性，如果我们知道函数的凹凸性，就能够确定局部极值就是全局最优值。而导函数的增减性，就是二阶导数。我们可以画出各个点的切线，看看切线的斜率变化，就知道二阶导数的增减性了。很容易知道，切线的斜率是越来越小的，因此，导函数的导函数是减函数，从函数的表达式上也很容易验证。

$y\prime\prime = -\cfrac{1}{x^2} > 0$

那么 Jensen 不等式又说了什么呢？对于 Jensen 不等式的两点形式来说，就是图中任意两点的之间的部分都在这两点的割线的上方，即：

$f(ta+(1-t)b) \ge tf(a) + (1-t)f(b)$

因为概率分布的一个重要性质就是各个取值都介于 $0$ 和 $1$ 之间，并且它们的和为 1，因此 Jensen 不等式用概率、期望的语言解释就是：
$f(E(X)) \ge E(f(x))$

应用于多个点，即：

$f(\sum_i^n \lambda_i x_i) \ge \sum_i^n \lambda_if(x_i)$
其中 $\lambda_i \ge0$ ， $\sum_i^n \lambda_i = 1$ 。把 $f(x) = \log x$ 应用到上面的式子，得到：

$\log(\sum_i^n \lambda_i x_i) \ge \sum_i^n \lambda_i\log(x_i)$
其中 $\lambda_i \ge0$ ， $\sum_i^n \lambda_i = 1$ 。这就是《统计学习方法》P159 脚注 1 的内容。我们看到这本书为了简化说明，没有给出凸函数和凹函数的描述，直接给出所需要的 Jensen 不等式的部分。