1.0 Soft Margin

1.1 Soft Margin的作用

在线性可分问题中，对于样本点来说，存在一根直线可以将样本点划分，就称之为Hard Margin SVM；但是有时候会存在一些噪声或者异常点，一条划分直线不能将其完全分开，此时就提出了Soft Margin SVM。

1.2 Soft Margin的思想

Soft Margin SVM的思想也很朴素，就是在Hard Margin的基础上，将原来的约束条件放宽一些。增加容错性。

Hard Margin中的目标函数和约束条件如下。对于约束条件，其含义就是各个点到决策边界的距离要大于margin边界（上下margin边界 $y_(w^Tx+b)=\pm 1$ ）到决策边界的距离，即就是要求在margin中不能存在任何一个 $x_i$ 。

$\Phi (x)=\frac{1}{2} w^Tw$ $s.t.$ $y_i(w^Tx_i+b)\geq 1$

Soft Margin就是对这个约束条件进行适当放宽，允许部分点存在于margin内，即部分点到决策边界的距离可以在一定程度上小于margin边界到决策边界的距离，于是有：

$\Phi (x)=\frac{1}{2} w^Tw$ $s.t.$ $y_i(w^Tx_i+b)\geq 1-\zeta _i$ ， $\zeta _i\geq 0$

当然 $\zeta _i$ 也不能无限放大，可以在目标函数中加上所有点容错空间的和，就可以实现在最小化的同时，允许条件放宽一部分。使用参数C来平衡 $\zeta _i$ 的重要程度：

$\Phi (x)=\frac{1}{2} w^Tw+C\sum_{1}^l \zeta _i$ $s.t.$ $y_i(w^Tx_i+b)\geq 1-\zeta _i$ ， $\zeta _i\geq 0$

上面表达式的形式，其实就相当于在Soft Margin中加入了L1正则， $\zeta _i$ 就是正则化项，它所起到的作用就是让模型的拥有一定的容错能力，泛化性有所提升。超参数 $C$ 越大，为使得目标函数最小， $\zeta _i$ 也要越小。如果取正无穷，意味着逼迫着容错空间趋近于零，也就变成了Hard Margin SVM

相应的，也有L2正则的形式： $\Phi (x)=\frac{1}{2} w^Tw+C\sum_{1}^l \zeta _i^2$ 。

1.3 Soft Margin目标函数

用拉格朗日乘数法构造soft margin目标函数：

$L_p = \frac{1}{2}\vert \vert w \vert \vert^2+ C\sum_{1}^l \zeta _i-\sum_{1}^l a_i[y_i(w^Tx_i+b)-1+\zeta _i]-\sum_{1}^l \mu _i\zeta _i$

与Hard Margin的求解方法一样，分别对 $w$ ， $b$ ， $\mu _i$ 求导：

$\frac{d L_p}{d w} =w-\sum_{i=1}^la_iy_ix_i=0$ $\implies$ $w=\sum_{i=1}^la_iy_ix_i$

$\frac{d L_p}{d b} =-\sum_{i=1}^la_iy_i=0$ $\implies$ $\sum_{i=1}^la_iy_i=0$

$\frac{d L_p}{d \zeta _i} =C-a_i-\mu _i=0$ $\implies$ $C=a_i+\mu _i$

代入 $L_p$ 中，依然可得到对偶问题 $L_D$ ：

$L_D=\sum_{i}^l a_i-\frac{1}{2} a^THa$ ， $s.t.$ $0\leq a_i\leq C$ ， $\sum_{i=1}^la_iy_i=0$

2.0 sklearn中的SVM

在使用SVM算法时，需要先对数据进行标准化处理。SVM算法寻找的是使得Margin区间最大的决策边界（超平面），而衡量Margin使用的是数据点之间的距离。涉及距离的，就应当对量纲问题进行关注，即进行标准化处理。如果特征在不同维度上，数据尺度不同的话，非常影响SVM算法的决策边界。

2.1 数据准备

使用sklearn.datasets中的iris数据集，筛选其中二维特征和两类标签作为实例数据，并对数据标准化处理：

import matplotlib.pyplot as plt

import numpy as np

from sklearn import datasets

iris = datasets.load_iris()

X = iris.data

y = iris.target

X = X[y<2,:2]

y = y[y<2]

plt.scatter(X[y==0,0], X[y==0,1], color='red')

plt.scatter(X[y==1,0], X[y==1,1], color='blue')

plt.show()

from sklearn.preprocessing import StandardScaler # 数据标准化

standardScaler = StandardScaler()

standardScaler.fit(X)

x_std = standardScaler.transform(X)

2.2 SVM使用及C的选择

2.2.1 Hard Margin SVM

使用sklearn.svm包中的类LinearSVC，即使用支撑向量机做分类。首先取一个非常大的C值进行观察，在这种情况下，算法近似Hard Margin：

from sklearn.svm import LinearSVC

svc = LinearSVC(C=1e9)

svc.fit(X_std,y)

svc.coef_ # array([[ 4.03239856, -2.50698541]])

svc.intercept_ # array([0.92736835])

绘制Hard Margin SVM的决策边界，如下图：有三个蓝色数据点落在上面的边界，有两个橙色的数据点落在下边界上，这就是支撑向量。因为近似于Hard Margin SVM 因此Margin之间是没有任何数据的。既保证了正确分类，又让里决策边界最近的点到决策边界的距离最远。

2.2.2 Soft Margin SVM

取一个非常小的C值，建立Soft Margin SVM模型：

svc2 = LinearSVC(C=0.01)

svc2.fit(X_std, y)

绘制Soft Margin SVM的决策边界，如下图：此时有一个蓝色的点被错误地分类了；并且随着C减小，Margin区域越大，其中包含了很多数据点，给出了较大的容错空间。

机器学习入门（二十一）——SVM（2）