《统计学习方法》SVM约束最优化的错误

函数间隔和几何间隔的不同

按照统计学习方法这本书的说法

函数和几何间隔之间其实是一个线性的映射

$\gamma = \frac{\hat \gamma}{||w||}$

其中 $\hat \gamma$ 是函数间隔， $\gamma$ 是几何间隔

而且几何间隔的定义是

$\gamma = y_i(\frac{w}{||w||}x+\frac{b}{||w||})$

其实我觉得他这样定义有问题

约束最优化问题的表达无法理解

书上说原问题可以表述为下面的最优化问题

$\max_{w,b} \gamma \\ s.t.\ y_i(\frac{w}{||w||}x+\frac{b}{||w||}) \geq \gamma,\ i=1,2,...,N$

但是其实约束项的左右两边是一样的( $\gamma = y_i(\frac{w}{||w||}x+\frac{b}{||w||})$ )。。。

看着十分奇怪

就算之后用函数间隔替换了几何间隔，但是还是有同样的问题：

$s.t.\ y_i(wx+b) \geq \hat \gamma,\ i=1,2,...,N; \hat \gamma = y_i(wx+b)$

那这样的话函数间隔还有什么意义。。。

我认为的更好的解释

函数间隔隐藏了“分类正确”这个条件

按照定义来说，几何间隔应该是不考虑分类正确与否的

举个例子，如果正例(+1)被误分类到 $wx+b<0$ 的区间里面了，那么函数间隔 $\hat \gamma' \leq 0$ , 几何间隔 $\gamma' \geq 0$

所以这两个之间的关系并不只是线性缩放，并且保持符号相同的关系。可能符号会发生改变

也就是说“函数间隔”隐藏了“分类正确这个大前提”，所以

$y_i(\frac{w}{||w||}x+\frac{b}{||w||}) \neq\frac{1}{||w||}|wx+b| \\ \gamma \neq \frac{\hat \gamma}{||w||}$

原问题的新表述

所以几何间隔 $\gamma$ 应该满足“值永远为正数”这个条件

$\gamma = |\frac{w}{||w||}x+\frac{b}{||w||}| = \frac{1}{||w||}|wx+b|$

而约束最优化问题应该被如此表述：

优化目标：最大化几何间隔 $\gamma$
约束条件：分类正确
约束条件：每个训练样本点的距离至少是 $\gamma$

$\max_{w,b} \gamma \\ s.t.\ y_i(\frac{w}{||w||}x+\frac{b}{||w||}) \geq \gamma,\ i=1,2,...,N$

约束条件左边的式子的意义是：“在分类正确的条件下的几何距离”，相较于右边式子多了一个条件

所以有

$\max_{w,b} \frac{1}{||w||}|wx+b| \\ s.t.\ y_i(\frac{w}{||w||}x+\frac{b}{||w||}) \geq \frac{1}{||w||}|wx+b|,\ i=1,2,...,N$

约束条件里面的 $||w||$ 可以左右消除

$\max_{w,b} \frac{1}{||w||}|wx+b| \\ s.t.\ y_i(wx+b) \geq |wx+b|,\ i=1,2,...,N$

和书上的原理一样，因为|wx+b|对于解没有影响，所以可以取 $|wx+b|=1$ , 于是有

$\max_{w,b} \frac{1}{||w||}\\ s.t.\ y_i(wx+b) \geq 1,\ i=1,2,...,N$

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 217,185评论 6赞 503
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 92,652评论 3赞 393
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 163,524评论 0赞 353
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 58,339评论 1赞 293
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 67,387评论 6赞 391
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 51,287评论 1赞 301
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 40,130评论 3赞 418
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 38,985评论 0赞 275
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 45,420评论 1赞 313
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,617评论 3赞 334
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,779评论 1赞 348
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,477评论 5赞 345
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 41,088评论 3赞 328
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,716评论 0赞 22
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,857评论 1赞 269
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 47,876评论 2赞 370
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,700评论 2赞 354

《统计学习方法》SVM约束最优化的错误

约束最优化问题的表达无法理解

我认为的更好的解释

函数间隔隐藏了“分类正确”这个条件

原问题的新表述

推荐阅读更多精彩内容