学长说不用懂原理,直接抄代码就行。我去写大作业啦,写完回来继续学。
【支持向量机SVM】
其基本模型定义为特征空间上的间隔最大的线性分类器,即支持向量机的学习策略便是间隔最大化,最终可转化为一个凸二次规划问题的求解。
1.线性分类
1.1超平面:超平面是n维欧氏空间中余维度等于一的线性子空间(也就是必须是(n-1)维度)。这是平面中的直线、空间中的平面之推广(n大于3才被称为“超”平面),是纯粹的数学概念,不是现实的物理概念。因为是子空间,所以超平面一定经过原点。
那些与p的差向量与 n 向量正交的点,就是点集 i (x,y).
1.2logistic回归
通过h(z)=1/(1+exp(z))实现从(负无穷,正无穷)到(0,1)的映射。
训练中用wTx替代z,当其取值远远大于0时,y取到1的概率为1。因此,希望训练出特征wTx>>0的模型。(<0亦然
在SVM中,用+-1代替1和0.本质没什么区别
1.3函数间隔Functional margin
1.4点到超平面的距离定义:几何间隔Geometrical margin
函数间隔y*(wx+b)=y*f(x)实际上就是|f(x)|,只是人为定义的一个间隔度量;而几何间隔|f(x)|/||w||才是直观上的点到超平面距离。
1.5最大间隔分类器Maximum Classifier
最大化点集中最小的margin