感知机（perceptron）是二分类的线性分类模型，输入为实例的特征向量，输出为实例的类别（取+1和-1）。

感知机对应于输入空间中将实例划分为两类的分离超平面。

感知机旨在求出该超平面，为求得超平面导入了基于误分类的损失函数，利用梯度下降法对损失函数进行最优化（最优化）。

感知机的学习算法具有简单而易于实现的优点，分为原始形式和对偶形式。

感知机预测是用学习得到的感知机模型对新的实例进行预测的，因此属于判别模型。感知机由Rosenblatt于1957年提出的，是神经网络和支持向量机的基础。

感知机模型

数学原理

用数学的语言来说，如果我们有m个样本，如果我们有m个样本，每个样本对应于n维特征和一个二元类别输出，如下：

$(x_1^{(0)}, x_2^{(0)}, ...x_n^{(0)}, y_0), (x_1^{(1)}, x_2^{(1)}, ...x_n^{(1)},y_1), ... (x_1^{(m)}, x_2^{(m)}, ...x_n^{(m)}, y_m)$

目标是找到一个超平面，即

$\theta_0 + \theta_{1}x_1 + ... + \theta_{n}x_{n} = 0$

目标是让
某一类样本
$\theta_0 + \theta_{1}x_1 + ... + \theta_{n}x_{n} > 0$
另一类样本满足
$\theta_0 + \theta_{1}x_1 + ... + \theta_{n}x_{n} < 0$
从而得到线性可分。如果数据线性可分，这样的超平面一般都不是唯一的，也就是说感知机模型可以有多个解。

几何解释

感知机模型是线性分类模型，感知机模型的假设空间是定义在特征空间中的所有线性分类模型，即函数集合{f|f(x)=w·x+b}。

线性方程 $wx+b=0$ 对应于特征空间 $R^n$ 中的一个超平面 $S$ ，其中 $w$ 是超平面的法向量，b是超平面的截踞。这个超平面把特征空间划分为两部分。位于两侧的点分别为正负两类。超平面S称为分离超平面，如下图：

image

感知机

感知机模型

数学原理

几何解释

推荐阅读更多精彩内容