支持向量机
间隔与支持向量
支持向量机基本理念：在样本空间中找到一个可以将不同类型的样本分开的超平面
划分超平面的选择原则：泛化性强、对噪声容忍度最高
=》结论：寻找两个类别正中间的、能将样本分为两类的超平面
西瓜书 支持向量与间隔.png
为了寻找这个超平面，需要寻找支持向量和间隔
支持向量是决定超平面位置，距离超平面最近的几个样本点
间隔是两类支持向量到达超平面的距离之和
对偶问题
（推导过程省略）
结论：支持向量机的模型只取决于支持向量（即部分样本点）
SMO：
1、选取一对变量i和j，固定其余参数
西瓜书 KKT.png
2、求解
西瓜书 对偶函数.png
核函数
为了找到超平面，有时需要将样本空间投影到更高维空间中
西瓜书 定理6.1 .png
只要一个对称函数的核矩阵半正定，就可以作为核函数使用
常见核函数
1、线性核
2、多项式核
3、高斯核
4、拉普拉斯核
5、Sigmoid核
核函数和核函数的线性组合&直积也是核函数
软间隔与正则化
问题：很难找到一个超平面能完美分隔类型又保证不过拟合
解决方案：允许超平面在部分点上分类错误（软间隔）
选择软间隔时，损失函数为越阶函数，不便于求解，因此采用替代损失函数
西瓜书 替代损失函数.png
同时引入松弛变量来代表允许分类错误的程度
支持向量回归
定义：允许事实与预测值有误差，超过允许误差范围的才被记入损失
（即在分类区域两侧构建容忍带，在此范围内的样本都被认为分类正确）
结论：根据推导，支持向量必定在隔离带以外
核方法
定义：通过核化，将线性分类学习器扩展为非线性学习器
