Kernel Method

非线性分类

输入空间中有由 $x_1^2+x_2^2-1=0$ 分割的数据集，圆内为正例，圆外为负例，此时用超平面是无法正确分离数据集的。

定义映射 $\phi(x)=(x_1^2,x_2^2)$ ,在新空间中数据集可以用超平面 $x+y-1=0,x=x_1^2,y=x_2^2$ 分离。

核函数

设X是输入空间，H是特征空间。假设存在一个从X到H的映射 $\phi(x) ：X\rightarrow H$ ,使得对所有的 $x,z\in X$ ,函数 $K(x,z)$ 满足

$K(x,z)=\phi(x)\cdot \phi(z)$ ,

则称 $K(x,z)$ 为核函数， $\phi(x)$ 为映射函数。

$X \in R^2,H \in R^3,for \ x\in X, \phi(x)=(x_1^2,\sqrt 2 x_1x_2,x_2^2),则\\K(x,z)=\phi(x) \cdot \phi(z)=(x_1^2 z_1^2,2x_1z_1x_2z_2, x_2^2 z_2^2)=((x_1,x_2)\cdot (z_1,z_2))^2=(x\cdot z)^2$

核方法

核技方法（核技巧）的思路是只定义核函数 $K(x,z)$ ,而不显式地定义 $\phi(x)$ 。因为找到合适的 $\phi(x)$ 比较难，找到合适的 $\phi(x)$ 后，H空间通常是高维或者无穷维的，在H空间计算内积很不容易。使用核技巧可以直接在X空间使用核函数计算H空间的内积，避免这个问题。对于特定的问题，特征空间H和映射函数的 $\phi$ 的取法并不是唯一的，即使对于同一个特征空间，映射函数的取法也可能有很多种。

正定核

通常所说的核函数是正定核函数，即对给出的核函数 $K(x,z)$ ，一定存在映射 $\phi$ 满足 $k(x,z)=\phi(x)\cdot \phi(z)$ .

可以通过下面的充要条件来判断任意给出的函数是不是正定核函数：

正定核的充要条件：设 $K:X\times X\rightarrow R$ 是对称函数，则 $K(x,z)$ 是正定核的充要条件是对任意 $x_i\in X,i=1,2,\ldots,m$ , $K(x,z)$ 对应的Gram矩阵

$K=[K(x_i,x_j)]_{m\times m}$

是半正定矩阵。

Gram矩阵：n维欧式空间中的m个向量 $\alpha_1,\alpha_2,\ldots,\alpha_m$ 的内积所组成的矩阵

$\left[\begin{matrix} \alpha_1\cdot \alpha_1 & \alpha_1\cdot \alpha_2 & \cdots & \alpha_1\cdot \alpha_m \\ \alpha_2\cdot \alpha_1 & \alpha_2\cdot \alpha_2 & \cdots & \alpha_2\cdot \alpha_m \\ \vdots & \vdots & \ddots & \vdots \\ \alpha_m\cdot \alpha_1 & \alpha_m\cdot \alpha_2 & \cdots & \alpha_m\cdot \alpha_m \\\end{matrix}\right]$

称为m个向量的Gram矩阵。

半正定矩阵： $x^TAx\geq0$ 或特征值全为非负数

常用核函数

多项式核函数

$K(x,z)=(x\cdot z+1)^p$

高斯核函数

$K(x,z)=exp(\frac{||x-z||^2}{2\sigma^2})$

字符串核函数

【待】

最后编辑于：2018.12.22 12:20:39

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

Kernel Method

Kernel Method

非线性分类

核函数

核方法

正定核

常用核函数

相关阅读更多精彩内容

友情链接更多精彩内容