硬间隔SVM(Hard-margin SVM):
在 SVM 中,我们引入最大化间隔这个概念,间隔指的是数据和分离直线(或超平面)的距离的最小值,因此最大化这个值反映了我们的模型倾向。
超平面公式:
最大化间隔:
将间隔固定为1:
对偶,引入对偶算法的优点在于对偶问题往往更容易求解,而是自然引入核函数,推广到非线性分类问题。
首先构建拉格朗日函数:
原问题:
对偶问题:
由不等式约束为仿射函数,故满足slater条件,为强对偶关系
L对w,b求导为0并化简L得:
再由KKT条件可知最优值的参数关系: