SVM总结

前言

分类就像用刀切一样,要想尽量把两类完全切开这就是分类器追求的目标。SVM是一个通用的分类器。

找刀

其实就是一个找“刀”的过程。
首先看1维的
其中黄色的点和蓝色的点不是一类。我们可以 理解这里的橙色的点就是我们需要 找的“刀”。

image.png

然后看二维的
其中黄色的点和蓝色的点不是一类。我们可以 理解这里的橙色的线就是我们需要 找的“刀”。

image.png

三维的
就是面

四维的
画不出来,叫超平面。

总之就是
意思就是用到把种类分开。尽量让类到该去的地方。

怎么切

超平面

其实上面一节说的刀就是一个超平面。
如何解释呢?
根据上一节的切分。
一维空间
我们可以得到一个点,可以把两个类别分开。我们可以写成。
x+A=0. 或者 x=-A
二维空间
Ax+By+C=0 或者 y=-C/B-A/Bx
三维空间
Ax+By+Cz+D=0 或者 z=-A/Cx - B/Cy - D/c

可以知道,我们肯定有个低于当前维度的一个东西把两类东西且分开。
这个就是超平面(不完全正确解释理解就好)。

范数

这个东西看起来高大上,其实很简单(搞学术的毒害),下面一步一步解释。
上面一节解释了超平面的概念,意思就是在一个维度的空间里面可以找到一个低纬度的“超平面”把数据分开。那么怎么找到这个平面就是一个关键。
SVM的思路就是在分别在两个不同类别中找到两个点a.b,这两个点要求是两个类别中离超平面距离最近的点。然后算出两个点之间的距离d,让这个距离d最大就好了。
看图


image.png

我们知道黄色类别中离超平面最近的是a。蓝色点离超平面最近的是b。我们只需要a的距离超平面的距离L1与b距离超平面距离L2。使得L1+L2最大。(注意这里不是求a到b的距离)。

那么这跟范数有什么关系呢?

因为范数跟距离有关系。

一维
Ax+B=0

image.png

超平面就是x=-B/A
那么两个类别集合上面的点距离这个X=-B/A的距离是。


image.png

其实就是 其他点到这个点的距离。

假设 蓝色都是大于1的整数。 黄色都是小于-1的整数。那我们的分割点假设是0。那么我们蓝色中距离分割点的最小距离是点是x0=1
带入公式中。
d=1

二维
仔细观察一下我们的二维超平面方程。

image.png

高中学过距离公式吧。
image.png

三维

image.png

好像有点规律。
我们很容易看出这就是一个分式,分子是g(x) (超平面方程)。分子是待定系数平方加和之后开方

image.png

image.png
image.png

这个分母就是范式。
写作


image.png

那么距离公式就可以简化。


image.png

超平面想象画法

1、先随意画一个超平面X。
2、以超平面X 分裂出一个X1和一个X2。X1向一类走,X2向一类走。
3、碰到点就停下来,计算d.
4、重复1、2、3 找到max(d)

切不开

按照上一节的逻辑我们第一步就会遇到困难,因为有很多根本就分不开。
例如:


image.png

这个就很糟糕,因为这是一个二维图像,我们找的超平面是1维的,而且“刀”是直线,这就很要命。根本切不开。

但是好像也给了一点曙光,我们看起来蓝色点就像顺着一个抛物线。那么我们肯定可以找到一个 抛物线形状的“刀”去吧这个切开。

image.png

那怎么找到这个抛物线刀呢?肯定不是观察法啦。我们可以升一个维度。上升一个维度后就是找面了。
现在假设我们的点都在三维空间散开。


image.png

一个面就把它切开了不是?然后把这个面投影到之前的维度。就成了我们想要的抛物线。


image.png

这个怎么做到的呢?就是核函数,核函数就是负责这个。有很多核函数,能力有限没法一一解释,但是目的很单纯,就是升维这个功能。

总结

步骤
1、喂样本数据。
2、如果线性可分,直接找出超平面。
3、如果不可分,把样本映射到n+1维空间,找到超平面。®

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,504评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,434评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,089评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,378评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,472评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,506评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,519评论 3 413
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,292评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,738评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,022评论 2 329
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,194评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,873评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,536评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,162评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,413评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,075评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,080评论 2 352

推荐阅读更多精彩内容

  • 高级钳工应知鉴定题库(858题) ***单选题*** 1. 000003难易程度:较难知识范围:相关4 01答案:...
    开源时代阅读 5,745评论 1 9
  • 近日听到邓女士的一首山茶花,温柔舒缓的声音使人沉醉,亦使人动情,那花的影子一直在眼前摇曳,于是便想起来自己与山茶花...
    琉璃焰阅读 278评论 0 2
  • 越长大,就越不能简单的活着。那些曾经吹过的牛皮,曾经爱过的人,都还在,却好像再也无法纯粹。我们每个人都是有故事的人...
    大萍子耶阅读 378评论 0 5
  • 周二与一位新客户的过程自觉不慎理想,带着这些困顿,参加了第二次pod call。 四大基石讲解完毕,体验了不是那么...
    奈丽是一只神经喵阅读 321评论 0 0
  • 晚安
    盛世莲花蓝莲花阅读 205评论 0 0