支持向量机，解决的是分类问题，非监督分类。相比逻辑回归中根据sigmoid函数将“结果”压缩到0-1区间，根据概率函数进行建模，而SVM则是将数据进行“距离”建模，在处理上利用空间向量的距离计算技术，去找相应的决策边界：

这里的决策边界即支撑向量，支撑着两条平移边界（待分区）的点。Margin就是分界面可以移动的范围，范围越大表示容错能力越强（对数据进行分类的稳定性高）

SVM算法其最核心的思想就是从Input Space向更高维的Feature Space的映射，进行有Margin的线性分类。

#非线性分类

上述说明是针对线性可分数据，针对非线性数据将数据进行升维处理（处理非线性数据最典型的思路就是使用多项式的方式：扩充原本数据，制造新的多项式特征）

#线性回归

线性回归算法，定义拟合的方式就是数据点到拟合直线的MSE最小。

SVM解决分类问题时，Margin中的范围越少越好。但是解决回归问题恰恰相反，Margin范围能够拟合更多的数据。

SVM算法的主要优点有：

解决高维特征的分类问题和回归问题很有效,在特征维度大于样本数时依然有很好的效果。

仅仅使用一部分支持向量来做超平面的决策，无需依赖全部数据。

有大量的核函数可以使用，从而可以很灵活的来解决各种非线性的分类回归问题。

样本量不是海量数据的时候，分类准确率高，泛化能力强。

SVM算法的主要缺点有：

如果特征维度远远大于样本数，则SVM表现一般。

SVM在样本量非常大，核函数映射维度非常高时，计算量过大，不太适合使用。

非线性问题的核函数的选择没有通用标准，难以选择一个合适的核函数。

SVM对缺失数据敏感。