支持向量机算法support vector machine（SVM），被视为感知器perceptron的扩展。perceptron的目的是最小化代价函数计算出来的误差，而SVM的思想是最大化边界（Margin），边界是分类的超平面和对应类别最近的样本点之间的距离
支持向量图示
大的边界意味着泛化能力很强
Paste_Image.png
处理非线性可分的情况
引进松弛变量（slack variables），这个变量来调节对于误差的容忍度
Paste_Image.png
Paste_Image.png
对比线性SVM和Logistic回归
Logistic回归是最大化似然函数
SVM关注的是决定决策边界的支持向量
