凸集、凸函数、凸优化的简介与联系

凸集、凸函数、凸优化关系示意图

凸集

若S为凸集,则S中任意两点的连线也在S中。

简单地说,没有空洞和凹入部分的集合叫做凸集。

任意两点的连线部分(包括这两个点)叫做这两个点的凸组合,不包括这两个点叫做严格凸组合。

凸集的性质:凸集的并集、加减法、数乘,仍是凸集。

凸集的例子:欧式空间,超平面,半空间(被一个超平面分割的空间),多面集(凸多面体),多面锥,等。

如何表示一个凸集?

引入概念:极点,不能被表示为两个不同点的凸组合的点,比如凸多边形的角上的点。

极点可以表示有界闭凸集,或者说,有界闭凸集中任意一点可表示为极点的凸组合。

那无界呢?引入概念:方向,一个方向的向量,使得S中任意一点x为端点,以此方向射出的射线仍在S内。引入概念:极方向,不能被表示为S中两个不同方向的组合的方向。由于这个“正”字,类似极点的性质,极方向大概是所有方向中的极端位置,比如扇形的两侧边界。

S的其他方向都能表示为极方向的正线性组合。

有了极点和极方向的概念,可引出表示定理:若S为非空多面集,则存在有限个极点,有限个极方向(若S有界则为0个),点x属于S等价于x可表示为极点和极方向的正组合。

凸集分离定理

凸集分离定理是凸集的一个重要性质。按如下思路由易到难证明:

1.(投影定理)若S为Rn中的闭凸集,y不属于S,则存在唯一的一点x属于S,x为点集S距离点y最近的点,称为y在S上的投影。

2.(点与凸集分离定理)对任意S中的点z(除x以外),(x-z)与(x-y)夹角为钝角,即内积小于0。由此,可用一个超平面将S与y隔开。

3.(凸集分离定理)S1和S2为Rn中两个非空凸集,交集为空,则存在一个超平面将S1和S2分隔开。

应用:使用其推论Farkas定理、Gordan定理等都可把证明无解的问题转化为证明有解的问题,以“有解”证“无解”

Farkas定理:设A为m*n矩阵,c为n维向量,则Ax<=0,c'x>0有解的充要条件是A'y=c,y>=0无解。

Gordan定理:设A为m*n矩阵,则Ax<0,有解的充要条件是不存在非零向量y>=0,使A'y=0。

凸函数

定义:任意两个自变量x1x2,任意x在x1x2之间,则有f(x1)f(x2)连线在f(x)上方。

凸函数的加法、数乘仍是凸函数。

若S是非空凸集,f是定义在S上的凸函数,a是一个实数,则集合S2 = {x|x∈S,f(x)≤a}是凸集。

若S是非空凸集,f是定义在S上的凸函数,则f在S上的局部极小点(在其某邻域内最小)是全局极小点,且极小点的集合是凸集。

凸函数的判别

虽然凸函数具有非常良好的性质,但相应的,凸函数的判别是非常困难的。据研究,多项式的凸函数判别是个NPhard问题。在此给出一阶条件和二阶条件:

一阶条件:若S式Rn上非空凸集,f在S上可微,f是凸函数等价于任意点函数值大于等于函数在这一点的一阶(切线)近似。

二阶条件:若S式Rn上非空凸集,f在S上二次可微,f是凸函数等价于任意点处Hesse矩阵半正定。

一般来说,二阶条件的使用更加简单。

凸规划

最优化模型中,若可行域S是凸集,目标函数f是凸函数,则称为凸规划。

例如:无约束优化,线性规划等

凸规划性质优秀,求解简单稳定,是非常理想的模型。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,589评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,615评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 165,933评论 0 356
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,976评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,999评论 6 393
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,775评论 1 307
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,474评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,359评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,854评论 1 317
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,007评论 3 338
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,146评论 1 351
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,826评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,484评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,029评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,153评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,420评论 3 373
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,107评论 2 356

推荐阅读更多精彩内容

  • 初等数学2300年之重大错误:将无穷多各异点集误为同一集 ——让中学生也能一下子认识3000年都无人能识的直线段 ...
    hxl268阅读 515评论 0 0
  • 转载自 http://www.52caml.com/head_first_ml/ml-chapter6-boost...
    麒麟楚庄王阅读 2,390评论 1 3
  • 【概述】 SVM训练分类器的方法是寻找到超平面,使正负样本在超平面的两侧(分类正确性即“分得开”),且样本到超平面...
    sealaes阅读 11,076评论 0 7
  • 项目详情 具体项目的标题下需要添加项目创建者和项目的创建时间添加相关内容 项目详情下需要四个页签tab,点击可跳转...
    两斤五花肉阅读 200评论 0 0
  • 为了将指定的 item 平滑的滑动至置顶。 简单的直接置顶: 缺点是体验不好,没有滑动的过程。 RecyclerV...
    chauI阅读 3,034评论 0 4