SVM

一.什么是 svm?

支持向量机(Suport Vector Machine,SVM)的基本模式是在特征空间中找到最佳的分离超平面分离,使得训练集得到的正负样板正确分类,且间距(margin)最大.这条分割线叫做分割超平面(Separating hyperplane).这种分类方法也叫大间距分类法
求解 SVM 算法,就是满足

1.什么是超平面?
n 维超平面空间由下列的方程式确定.其中，w 和 x 都是 n 维列向量，x 为平面上的点，w 为平面上的法向量，决定了超平面的方向，b 是一个实数，代表超平面到原点的距离。 $\begin{align}w^{T}x + b = 0\end{align}$ 我们对“平面”概念的理解，一般是定义在三维空间中的，即
$\begin{align}Ax+By+Cz+D = 0\end{align}$ 这个平面由两个性质定义：

1.方程是线性的，是由空间点的各分量的线性组合。
2.方程数量是1。

这个平面是建立在“三维”上的。如果我们撇开“维度”这个限制，那么就有了超平面的定义。超平面是纯粹的数学概念,平面中的直线、空间中的平面的推广，只有当维度大于3，才称为超平面。
它的本质是自由度比空间维度小1。

给定向量空间 Rn 中的一个点 P 和一个非零向量n ,满足
$\begin{align} n*(i -p)= 0\end{align}$ 则称点集 i 为通过点p 的超平面，向量 n为通过超平面的法向量。按照这个定义，虽然当维度大于3才可以成为“超”平面，但是你仍然可以认为，一条直线是 R2 空间内的超平面，一个平面是 R3 空间内的超平面。Rn 空间的超平面是Rn 空间内的一个 n - 1 维的仿射子空间。

2. 点到超平面的距离
样本空间中任意的一点 x, 到超平面(w,b)的距离,可以表示为
$\begin{align} \frac{\left|w^{T}x + b \right|}{\left|\left| w \right| \right|} \end{align}$

||w||是向量 w 的 L2范数,其计算公式为:

$\left|\left| w \right| \right| =\sqrt{ \sum_{i=1}^{n} w_i^2 } \$

L2范数，又叫“岭回归”（Ridge Regression）、“权值衰减”（weight decay）。这用的很多吧，它的作用是改善过拟合。过拟合是：模型训练时候的误差很小，但是测试误差很大，也就是说模型复杂到可以拟合到所有训练数据，但在预测新的数据的时候，结果很差。
L2范数是指向量中各元素的平方和然后开根。我们让L2范数的规则项||W||2最小，可以使得W的每个元素都很小，都接近于0。而越小的参数说明模型越简单，越简单的模型则越不容易产生过拟合现象。

3. 判断超平面的正反
一个超平面可以将它所在的空间分成两半,法向量指向的一半是它的正面,另外一面是它的反面.
用数学来判断的话,需要利用法向量 w

$x 在 A 的 \begin{cases} 正面, w^{T}x + b = 0 \\ 平面上 , w^{T}x + b = 0\\ 反面上 , w^{T}x + b = 0 \end{cases}$

二.核函数

核函数是特征转化函数,它的物理含义是衡量两个向量的相似性
最简单的核函数是 $\begin{align} K(x^{(i)},x^{(j)}) = x^{(i)T}x^{(j)}\end{align}$
$\begin{align} x^{(i)T}x^{(j)}是两个向量的内积\end{align}$
常用的核函数1.多项式核函数2.高斯核函数

1.多项式核函数,对输入特征的一种相似性映射函,其数学表达为:
$\begin{align} K(x^{(i)},x^{(j)}) =(γx^{(i)T}x^{(j)})^{n}\end{align}$
其中γ为正数,c为非负数.

2.高斯核函数,

最后编辑于：2018.09.18 01:52:50