首先补充分类问题
SVM不能用于多分类问题，但我们可以用The “One-vs-One” trick for Multi-Class SVMs
SVR（Support Vector Regression，支持向量回归）
使用SVR作回归分析，与SVM一样需要找到一个超平面，不同的是：在SVM中要找出一个间隔（gap）最大的超平面，而在SVR中是定义一个ε，定义虚线内区域的数据点的残差为0，而虚线区域外的数据点（支持向量）到虚线的边界的距离为残差（ξ）。与线性模型类似，希望这些残差（ξ）最小（Minimize）。所以大致上来说，SVR就是要找出一个最佳的条状区域（2ε宽度），再对区域外的点进行回归。
线性可分
Hard
Soft
非线性可分
内核函数将数据转换为更高维的特征空间，从而可以执行线性分离。
Kernel
随着 epsilon 增加,该方程被允许远离数据点, 支撑向量减少 ，拟合的更差。
import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm
from sklearn.metrics import mean_squared_error,mean_absolute_error
N=50
np.random.seed(0)
x=np.sort(np.random.uniform(0,6,N),axis=0) #训练数据集
y=2*np.sin(x)+0.1*np.random.randn(N)
x=x.reshape(-1,1)
svr_rbf=svm.SVR(kernel='rbf',gamma=0.4,C=100) #高斯核函数
svr_rbf.fit(x,y)
svr_linear=svm.SVR(kernel='linear',C=100) #线性核函数
svr_linear.fit(x,y)
svr_poly=svm.SVR(kernel='poly',degree=3,C=100) #多项式核函数
svr_poly.fit(x,y)
x_test=np.sort(np.random.uniform(0,9,N),axis=0)#测试数据集
y_test=2*np.sin(x_test)+0.1*np.random.randn(N)
x_test=x_test.reshape(-1,1)
y_rbf=svr_rbf.predict(x_test) #进行预测
y_linear=svr_linear.predict(x_test)
y_poly=svr_poly.predict(x_test)
plt.figure(figsize=(9,8),facecolor='w')
plt.plot(x_test,y_rbf,'r-',linewidth=2,label='RBF Kernel')
plt.plot(x_test,y_linear,'g-',linewidth=2,label='Linear Kernel')
plt.plot(x_test,y_poly,'b-',linewidth=2,label='Polynomial Kernel')
plt.plot(x,y,'ks',markersize=5,label='train data')
plt.plot(x_test,y_test,'mo',markersize=6,label='test data')
plt.scatter(x[svr_rbf.support_],y[svr_rbf.support_],
s=200,c='r',marker='*',label='RBF Support Vectors',zorder=10)
plt.show()
print("RBF_mean_absolute_error",mean_absolute_error(y_test,y_rbf))
print("RBF_mean_squared_error",mean_squared_error(y_test,y_rbf))
#用网格搜索交叉检验来寻找最优参数组合
from sklearn.model_selection import GridSearchCV
model=svm.SVR(kernel='rbf')
c_can=np.linspace(105,107,10)
gamma_can=np.linspace(0.4,0.5,10)
svr_rbf=GridSearchCV(model,param_grid={'C':c_can,'gamma':gamma_can},cv=5)
svr_rbf.fit(x,y)
print(svr_rbf.best_estimator_)
高斯核函数具有两个参数：C和gamma。
C是惩罚系数，对误差的宽容度。C值越高，说明越不能容忍出现误差，容易过拟合。C值越小，容易欠拟合。
gamma是选择RBF函数作为kernel后，该函数自带的一个参数，其隐含地决定了数据映射到新的特征空间后的分布，gamma值越大，支持向量越少，gamma值越小，支持向量越多。
