Jensen Inequality

t\in[0,1] \quad x \in [a,b] \qquad tf(a)+(1-t)f(b) \ge f(ta+(1-t)b)

Jensen Inequality特殊化证明

假设f(x)是凸函数 证 E( f(x) ) \ge f(E(x)) 即t = \frac{1}{2} 时的不等式证明

l(x) 为在 E(x) 点处的切线，则 \forall x, f(x) \ge l(x)
对两边同时求期望，则有
E(f(x)) \ge E(l(x))=E(ax+b)=aE(x)+b
而在 E(x) 点处, f(E(x)) = l(E(x)) = a(E(x))+b
则 E(f(x)) \ge f(E(x))

Jensen Inequality一般化证明

图中蓝色与黄色的部分始终呈 t:1-t 的比例关系
g(c) = tf(a)+(1-t)f(b)\qquad f(c)=f(ta+(1-t)b)
从图中可以很明显看出 g(c) > f(c)
故有 tf(a)+(1-t)f(b) \ge f(ta+(1-t)b)

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容

  • 不等式
    符号说明 矩阵：矩阵的谱范数: 矩阵的核范数: 矩阵的F范数表示矩阵的秩。 [Jensen’s inequalit...
    馒头and花卷阅读 3,395评论 0赞 0
  • 机器学习笔记11: K-Means算法和EM算法
    这一节开始我们讨论非监督学习(Unsupervised Learning)的算法。在监督学习算法中，训练数据既包含...
    secondplayer阅读 10,352评论 1赞 2
  • EM算法
    一、定义 EM算法，全称Expectation Maximization Algorithm，译作最大期望化算法或...
    rosyxiao阅读 4,253评论 0赞 0
  • 我，写作
    写作，其实是一种态度，是接纳一切，你所经过的人、事、物，还有你自己，然后真诚地把它从内心打开。是一种广阔抑或一种探...
    8KrosS8阅读 1,209评论 0赞 0
  • 体面
    最近“体面”二字在眼前出现频率很高，电视剧里、与朋友的聊天里都提到了这个词。不禁反思什么才叫体面？为什么大家...
    海棠_檬檬阅读 3,229评论 0赞 1