第六章支持向量机

间隔与支持向量

分类任务中，最基本的思想就是通过超平面，将不同类别的样本分开。

超平面就是一个 $n$ 维空间向 $n-1$ 维空间的一个投影，它比原来空间少一个自由度。超平面可以通过以下公式描述：
$w^Tx+b=0$
其中 $w$ 是法相量，确定超平面的方向； $b$ 是位移项，确定超平面与原点之间的距离。例如： $ax+by+cz+d=0$ 为一个三位空间的平面， $(a,b,c)$ 向量就是该平面的法相量，与该平面内的任意向量相乘等于零。

理解了超平面，我们需要得到最佳的超平面来将样本进行划分，就是相对于各类样本都比较居中的平面，就需要通过距离来衡量。将超平面标记为 $(w,b)$ ，那么样本空间中任意一点 $x$ 到 $(w,b)$ 的距离为：
$r=\frac{\mid w^Tx+b \mid}{\mid\mid w \mid\mid}$
如果超平面能够正确划分样本，对于 $(x_i,y_i) \in D$ 就有：
$\begin{cases} w^Tx+b >0,& y_i=+1;\\w^Tx+b<0,&y_i=-1; \end{cases}$
通过 $w,b$ 缩放，必有：
$\begin{cases} w^Tx+b \geq+1,& y_i=+1;\\w^Tx+b \leq -1,&y_i=-1; \end{cases}$
对于样本中那些使等号成立的点，称为支持向量，两类支持向量到超平面距离之和称为间隔，为：
$\gamma =\frac2{\mid\mid w\mid\mid}$
想要间隔最大，即在条件 $y_i(w^Tx_i+b) \geq1,i=1,2,\dots ,m.$ 下：
$max_{w,b}\frac2{\mid\mid w\mid\mid}$
最大化 $||w||^{-1}$ 等价于最小化 $||w||^2$ ，重写上式，即在条件 $y_i(w^Tx_i+b) \geq1,i=1,2,\dots ,m.$ 下：
$min_{w,b}\frac12 \mid\mid w\mid\mid^2$