感知机（perceptron）：

①二分类线性分类模型；

②输入为实例的特征向量，输出为实例的类别，+1、-1；

③属于判别模型；

④旨在求出将训练数据进行线性划分的分离超平面；

⑤简单、易实现；

⑥分为原始形式和对偶形式

2.1感知机模型

感知机定义

感知机是一种线性分类模型，属于判别类型；

假设空间是定义在特征空间中的所有线性分类模型或线性分类器，即函数集合

函数集合

感知机的几何解释：

几何解释（1）

几何解释（2）

2.2感知机学习策略

2.2.1数据集的线性可分性

线性可分性

2.2.2感知机学习策略

感知机学习的目标：求得一个能够将训练集正实例点和负实例点完全正确分开的分离超平面

损失函数：误分类点到超平面S的总距离

损失函数

损失函数L(w,b)是非负的，如果没有误分类点，损失的函数值是0。给定训练数据集T，损失函数L(w,b)是w和b的连续可导函数

2.3感知机学习算法

最优化方法：随机梯度下降

2.3.1感知机学习算法的原始形式

感知机学习算法

感知机学习算法是误分类驱动的，具体采用随机梯度下降法（stochastic gradient descent）

梯度下降

算法

当一个实例点被误分类，则调整w,b的值，是分离超平面向该误分类点的一侧移动，以减少该误分类点与超平面之间的距离，直至超平面越过该误分类点使其被正确分类

2.3.2算法的收敛性

当训练数据集线性可分时，感知机学习算法原始形式迭代是收敛的

当训练数据集线性不可分时，感知机学习算法不收敛，迭代结果会发生震荡

2.3.3感知机学习算法的对偶形式

基本思想

算法

对偶形式中训练实例仅以内积的形式出现。可以先将训练集中实例间的内积计算出来并以矩阵的形式存储，即Gram矩阵

Gram矩阵

本章概要

拓展：口袋算法(pocket algorithm)、表决感知机(voted perceptron)、带边缘感知机(perceptron with margin)