前言

关于写作：

博主（暂且如此自称）是北京某高校的计算机系研究生在读，入行AI领域时间不久，正在努力进修。最近利用工作之余的时间正在学习李航博士的《统计学习方法》，一方面希望能够通过写作整理思路，另一方面，分享学习心得也希望可以和志同道合的小伙伴们共同探讨进步啦~

github传送门：

GitHub - wyynevergiveup/Statistical-Learning-Method: 《统计学习方法》--李航实现学习过程中的算法以加深理解

系列文章：

1.《统计学习方法》笔记（一）统计学习及监督学习概论 - 简书

2.《统计学习方法》笔记（二）感知机模型 - 简书

3.《统计学习方法》笔记（三）K近邻法 - 简书

4.《统计学习方法》笔记（四）朴素贝叶斯法 - 简书

正文

2.1 综述

模型：感知机是二分类的线性分类模型，输入时实例的特征向量，输出是实例的类别{1，-1}。感知机对应于特征空间中将实例划分为正负两类的分离超平面，属于判别模型。

策略：感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。

算法：感知机算法具有简单而易实现的特点，分为原始形式和对偶形式。

感知机是1957年由Rosenblatt提出，是神经网络与支持向量机的基础。

下面我们将从模型三要素：模型、策略、算法三个方面介绍感知机模型。

2.2 感知机模型

本节我们将介绍什么是感知机模型，以及如何理解感知机模型。

首先，我们在考虑任何问题时总是希望先将问题形式化，因此，给出感知机模型的形式化定义：

感知机的形式化定义

感知机模型的假设空间是定义在特征空间上的所有线性分类模型，即函数集合 $\left\{ f | f(x) = w \cdot x + b \right\}$ 。

那么，如何理解感知机模型呢？

感知机模型的几何解释

以上解释个人感觉已经非常直观，下面我们以二维的情况进行具体分析。

上图是一个二维坐标系，我们要找到一条直线将两类样本分开，因此可以假设直线方程为 $y = ax+b$ 。将直线方程变形，改写为 $ax-y+b=0$ 。将直线方程进一步改写成向量相乘的形式：

$(a,-1)\cdot (x,y)^T +b = 0$

令 $\vec{w} = (a,-1)$ ， $\vec{x} = (x,y)$ ，方程就改写为：

$\vec{w} \cdot \vec{x} +b = 0$

即，我们的目的就是要找到合适的 $\vec{w}$ 和 $b$ ，使得代入任意正样本时， $\vec{w} \cdot \vec{x} +b >0$ （即位于直线的上方），反之，代入任意负样本时， $\vec{w} \cdot \vec{x} +b < 0$ 。其中 $\vec{w}$ 是直线的法向量， $b$ 是直线的截距。当输入的特征空间为3维时，要求的是三维空间中的一个平面，当特征空间维度更高时，已经无法找到一个几何名词去形容分离正负样本的”面“了，因而把它统称为”超平面“。