SVM是一种二分类模型，他的基本模型是定义在特征空间上的间隔最大的线性分类器。当使用不同的核函数时，可以使得SVM成为一个非线性分类器。支持向量机的学习策略是间隔最大化，可转化为一个求解二次函数凸优化的问题。
支持向量机又可分为线性可分支持向量机（硬间隔最大化，硬间隔支持向量机），线性支持向量机（软间隔最大化，软间隔支持向量机）和非线性支持向量机（核函数）。
线性可分支持向量机
首先，让我们来看看最简单的情况——线性可分支持向量机。
给定线性可分数据集，通过间隔最大化可得到一个分离超平面可将数据集分为两类，分割超平面可表示为：
φ(x)是某个确定的特征空间转换函数，他的作用是将x映射到更高维度的空间。最简单的φ(x)=x。
w为权重向量，b为偏置项。
sign是指示函数。目标值yi∈（-1,1）。
对于任何一个数据集，都有无数个超平面可将数据集分为两类，我们的目标是要寻找最大间隔分离超平面。
要使得所有样本都被正确分类，则需要满足：寻找最大间隔分离超平面即寻找w,b = argmaxj mini(WiXj+bj)，简言之就是最小样本的最大距离。
对于每一个超平面，都能找到离这个超平面距离最小的点(上式中最小的i)，这个距离就是间隔，而比较所有的超平面（上式中的j）的的间隔寻找最大的间隔的超平面也即是我们要找的超平面。
当所有样本都被正确分类时，根据解析几何中点到平面的距离公式，每个样本点离超平面的距离为：
这个优化问题我们很熟悉，可以使用拉格朗日乘子法，如下：
对里面的极小先求导计算：
线性支持向量机与软间隔最大化
线性可分问题的支持向量机学习方法，对线性不可分数据是不适用的，因为这时上述方法中的不等式约束并不能都成立。怎么才能将其扩展到线性不可分问题呢？这就需要修改硬间隔最大化，使其成为软间隔最大化。
当数据线性不可分时，我们可以对每个样本Xi引入一个松弛变量ξi，使得函数间隔加上松弛变量后大于等于1，也即约束条件变为：
于是线性不可分的线性支持向量机的学习问题变成了如下的凸二次规划（converx quadratic programming）问题：这里C称为惩罚因子，一般由应用问题决定，C值大时，对误分类的惩罚增加，C值小时对误分类的惩罚减小，上面加了松弛变量后的目标函数有两层含义：使1/2||w||2尽量小，即间隔尽量大，同时使误分类点的个数尽量小，C是调和二者的系数。
更直白的说，惩罚因子C决定了你有多重视离群点带来的损失，当所有离群点的松弛变量的和一定时，C越大，目标函数的损失也就越大，这意味着你非常不愿意放弃这些离群点。当你把C定为无穷大时，只要有一个离群点，目标函数的值也会变得无穷大，使得我们无法放弃任何一个离群点，这时其实就退化成了硬间隔问题，这也意味着模型容易过拟合，泛化能力差。
将上面求得的三个式子带入拉格朗日函数中：
上面的最终目标函数与线性可分支持向量机的求α最终目标函数是一样的，同样的可以使用SMO算法求解得到α的解集：
然后将α带入w中可求得w，b的求法也与上面一致。最后结合工程实际中求法得到线性支持向量机：
非线性支持向量机与核函数
对于线性分类数据，线性支持向量机是一种非常有效的方法。但是，有时候分类问题是非线性的，这时可以利用核技巧使用非线性支持向量机。
使用核函数，可以将原始输入空间映射到新的特征空间，从而使得原本线性不可分的样本可能在核空间上可分。
常用的核函数有多项式核函数，高斯核函数以及sigmoid核：
非线性支持向量机的优化求解与线性支持向量机核函数的求解是一致的，我们最开始求线性可分支持向量机用的是φ(x),将φ(x)换成核函数便成了非线性核函数支持向量机的最优化求解了，这都是一致的，因此不再求解。
序列最小最优化算法
序列最小最优化算法（sequential minimal optimization，SMO）是对偶问题的求解方法，每次求解选择两个变量α1，α2，而将其他值作为定值进行求解，具体的以后看了再说吧。
参考：
《统计学习方法》李航
机器学习. 邹博
SVM学习（五）：松弛变量与惩罚因子
