都说SVM有三宝：间隔、对偶、核技巧
图1
1.线性可分SVM
感知机找出将线性可分数据划分开的超平面，线性可分SVM是在寻找最优的那一条！
1.1 几何角度看线性可分SVM
对与如图2所示的线性可分数据集，我们需要找一条可以将数据分开的直线，这样的直线有很多。那么如何找到最优的那一条呢？
图2
图2所示的两个超平面都可以将训练数据划分开，但是如果测试数据上出现了图3的情况，绿线所示的超平面依然可以将数据划分开，但是黑线所示的超平面的测试误差就没那么好了。
图3
1.2 转化为数学优化问题
我们通常使用硬间隔最大化的策略，下面我们进行推导：
设训练集为,超平面为
我们的目的就是找到最优的
和
。
首先该超平面需要满足条件：
设：
则：
即：
令：
得： .........公式(1)
=
为点到超平面的距离，距离超平面最近的点使得上式(1)等号成立。这些点称为支持向量，两个异类到超平面的距离的和为
我们称他为间隔。所以最大间隔策略可以表示为
等价于
所以优化问题转化为：
