SVM初识

涉及：间隔

软间隔

拉格朗日乘子法 (利用引入参数，并利用参数与待求的未知数的等式关系解出)

又因为 min （max（））问题用到KTT 推出强对偶 then 对因子求导并令导数 = 0 得到因子值进而利用因子与 w 和 b 关系求出解

或利用 QP (SMO)解出 w 和 b

---->done

说明

满足 KTT 一定能推出强对偶 <——> max(min()) 等价与 min (max())

kTT :(有问题？？？)

1 SVM是用来解决二分类问题的有监督学习算法，在引入了核方法之后SVM也可以用来解决非线性问题，其中核函数的引入解决非线性问题是svm的精华之处。

2 svm 是求一个平面（或线）把不同样本分开并且要求该平面的鲁棒性好即性能最优

即求两个条最近边界（min）的之间的最大距离（max)

其中位于最近边界上的点称为支持向量该点满足 w*x+b=1(不为0) ，相应的不在最近边界的点满足w*x+b=0 如图两条虚线为所谓的最近边界

3 最近(min)边界的距离为 r = $\frac{2}{\vert w\vert }$ w 是待求平面的法向量

目标函数为 r

其中满足的约束条件：是 a 如果 w*x +b > 0 则为正样本即yi =1 ；如果w*x +b < 0 则为负样本即yi =-1 ；总的来说就是 yi *(w*x +b) >= 1 >0 (1) 说明让（1）式大于1 是运用了不等式放缩的思想。

r = ( $x^+$ - $x^-$ ) * $\frac{w}{|w|}$ (其中 $x^+ ， x^-$ ）为正负样点代入约束条件 yi *(w*x +b) = 1 （支持向量） ------------》r= $\frac{2}{w}$

4 所以目标函数为 r = min $\frac{1}{2}$ $w^2$ (与上面不同是为了下面的求解方便)

约束 yi *(w*x +b) = 1

5 引入拉格朗日乘法因子

因为 4 是个凸二次优化问题（目标函数是二次函数即存在局部最值且约束条件为一次函数）可以引入拉格朗日乘法因子并且通过重新建立目标函数后该因子与待求 w 和b 存在（线性）关系如式 M

分别对 w 和 b 求导得：下式 A B

其中 w 是样本 xi 与因子 $\alpha$ 的线性组合（yi 为 1 或者 -1 分类问题）

将 A B 回代式 M 得

分析：新建的目标表达式 L 仅取决于 xi xj 两点之间的点乘

在训练集中 yi *(w*x +b) $\neq$ 0 为支持向量

yi *(w*x +b) = 0 不为支持向量（对求w 和 b 没作出任何贡献）

在测试集中 yi *(w*x +b) > 0 则 x 属于正样本

yi *(w*x +b) < 0 则 x 属于负样本

后续

软间隔

核函数

应用实例（书和网上）

b站白板推和唐的视频总结

还有 svm 的面试题

smo??

手推SVM ?

最后编辑于：2019.03.12 16:47:21

SVM初识

涉及 ： 间隔

软间隔