SVM即寻找一个超平面将不同类别的样本分开。目标：寻找最大化间隔划分超平面对应的模型f(x) = wTx+b

一、名词解释：

1、支持向量：距离超平面最近的几个样本点并且满足西瓜书（以 下简称书）P122页式6.3
2、间隔：两个异类支持向量到超平面的距离之和
3、核函数：可以使特征空间中难以运算的内积与使用这个函数在 原始样本空间中计算的结果相等的函数
4、再生希尔伯特空间(RKHS)：可以使用某个核函数使得样本在这 个空间中线性可分
5、软间隔：允许某些样本不满足约束书P130页，式：6.28。相 当于将这个超平面的“厚度”加厚，使得一些样本位于超平面 内
二、具体过程
1、假设训练样本是线性可分的，即原始样本空间存在一个超平面 可以正确分类样本。
1）、如何解决问题？
在训练样本中寻找到全部的支持向量和其对应的拉格朗日乘子及偏置项b即可解决问题。（带入书中P124页，式6.12，即可求解出对应模型）
2）、如何在训练样本中寻找支持向量？
对书中P123页的问题，构建拉格朗日函数，转换为其对偶问题（求max α，α=(α1，α2，α3，...，αn)），αi对应样本（Xi,Yi）,若αi>0，则样本（Xi,Yi）为支持向量
3）、如何求解maxα?
使用SMO算法
4）、如何求解偏置项b?
当找出支持向量（Xi,Yi）和其对应的αi后，b的计算公式为书中P125页，式6.18
2、原始样本空间不存在能正确划分样本的超平面。
a.解决方法：升维。将原始样本空间映射到一个更高维的特 征空间，而且一定存在一个高维的特征空间使样本可分。 可分后就可以采用1的方法求得结果
b.存在的问题：①难以计算，②过拟合。
c、①的解决方法：寻找合适的核函数（通过试错法寻找）
c1、常用核函数
1、线型核
2、多项式核
3、高斯核（RBF核）
4、拉普拉斯核
5、Sigmoid核
c2、可以通过书中P128-129页中的式6.25、6.26、6.27 将核函数进行组合得到新的核函数
d、②的解决方法：软间隔
e、支持向量回归：与传统回归模型的差别在于，其容忍真实标记y与输出标记f(x)有不大于ε的误差。及当输出结果若|f(x)-y|<=ε,认为输出f(x)是正确的。此时求的模型f(x)等于书中P137页，式6.56

尚存在的问题：
1、如何求得软间隔对应的模型？（书中的没看明白）
2、求解支持向量回归模型中的未知参数过程（书中的没看明白）