单个感知机只能解决线性可分的问题,进一步的加深网络可解决线性不可分的问题,深度神经网络
此外,另一角度是讲线性不可分的问题转换为线性可分,那就需要一个映射f进行非线性维度转换,f很难找到,但写成优化问题,实际要计算<f(xi),f(xj)>,那是否可以不找f,直接计算这个内积呢?
根据Frechet-Riesz表示定理,f(xi)=<xi,z> f(xj)=<xj,z'>,z和z'都属于Hilbert space. <f(xi),f(xj)>=k(z,z') (暂时这么理解 可能有错误)
结论:kernel function 依靠自身不同的定义去求解复杂的内积