间隔与支持向量
分类任务中，最基本的思想就是通过超平面，将不同类别的样本分开。
超平面就是一个维空间向
维空间的一个投影，它比原来空间少一个自由度。超平面可以通过以下公式描述：
其中是法相量，确定超平面的方向；
是位移项，确定超平面与原点之间的距离。例如：
为一个三位空间的平面，
向量就是该平面的法相量，与该平面内的任意向量相乘等于零。
理解了超平面，我们需要得到最佳的超平面来将样本进行划分，就是相对于各类样本都比较居中的平面，就需要通过距离来衡量。将超平面标记为，那么样本空间中任意一点
到
的距离为：
如果超平面能够正确划分样本，对于就有：
通过缩放，必有：
对于样本中那些使等号成立的点，称为支持向量，两类支持向量到超平面距离之和称为间隔，为：
想要间隔最大，即在条件下：
最大化等价于最小化
，重写上式，即在条件
下：
对偶问题
凸函数是指函数在一定区间内，任意亮点之间连线，连线上的任意一点的值，大于其对应自变量处的函数值。可用公式描述为：
