感知机

标签：统计学习

模型

二分类的线性模型，属于判别模型
旨在求出将输入空间进行线性划分的分离超平面。
损失函数基于误分类，利用梯度下降法求解目标，从而获得感知机模型，分为原始形式与对偶形式，是神经网络与支持向量机的基础

$f(x) = sign(w\cdot x + b)$

w为权值（weight），b为偏置（bias），sign为符号函数

$sign(x) = \begin{cases}+1, & x\ge 0 \\ -1, & x < 0 \end{cases}$

模型解释：线性方程

$w\cdot x + b$

对应于输入空间的一个超平面，位于该平面两部分的点被分为两类，又称为分离超平面（separating hyperplane）

选择损失函数，一个自然选择是误分类点总数，但非参数w,b的连续可导函数，不易优化。另一个选择是误分类点到超平米的总距离

$-\frac{1}{\|w\|}\sum_{x_i\in M}y_i(w\cdot x_i + b)$

不考虑系数，得到损失函数（该函数同时也是感知机的经验风险函数）

$L(w,b) = -\sum_{x_i\in M}y_i(w\cdot x_i + b)$

感知机的策略就是，选取使损失函数最小的模型参数w,b

采用随机梯度下降法（stochastic gradient descent）

两个参数的梯度分别为

$\nabla _wL(w,b) = -\sum_{x_i\in M}y_ix_i\nabla _bL(w,b) = -\sum_{x_i\in M}y_i$

选取一个误分类点，对w,b进行更新

$w\leftarrow w+\eta y_ix_ib\leftarrow b+\eta y_i$

该算法有一个直观解释：当一个样本点被误分类，则调整w,b的值，使分离超平面向该误分类点的一侧移动，以减少该点与超平面的距离
解不唯一，即依赖于初值，也依赖于迭代过程的点选择顺序