SUPPORT VECTOR MACHINE
一、间隔与支持向量
给定训练样本集：
基于训练集在样本空间中找到一个划分超平面，这个超平面应该是最鲁棒(Robust),对未见示例泛化能力最强。
在样本空间中，划分超平面可表示为线性方程：
其中为法向量，决定超平面的方向；b为位移项，决定了超平面与远点之间的距离。下面用
表示超平面。
样本空间中任意一点到超平面
的距离可以写为：
假设超平面能将样本集正确分类，则对于
,有：
若超平面
能将训练样本正确分类，则总存在缩放变换
使得上式成立。
距离超平面最近的几个训练样本使得等号可以成立，它们被称为“支持向量”(Support Vector)
两个异类支持向量到超平面的距离叫“间隔”(Margin),值为：
欲找到有最大间隔(Maximum Margin)的超平面，也就是要找到能满足上述约束的的参数，使得
最大，即：
求的最大值等价于求
的最小值，故上式可转化为：
这就是支持向量机的基本型。
二、超平面（w,b）
对式(2)的每条约束添加拉格朗日乘数,则该问题的拉格朗日函数可写为：
令其对 的偏导为0可得：
将(4)代入(3)消去 ，再考虑约束条件可得：
求出后计算出
即可得出模型：
(未完)
