二、感知机

  • 感知机是二分类的线性分类模型，其输入为实例的特征向量，输入为实例的类别
  • 感知机对应于输入空间中将实例划分为正负两个类的分离超平面，属于判别模型
  • 感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型
  • 感知机学习算法的优点：简单且易于实现
  • 分类：原始形式 和 对偶形式
  • 感知机预测：用学到的感知机模型对新的输入实例进行分类

1. 感知机模型

  • 感知机是根据输入实例的特征向量x对其进行二类分类的线性分类模型：

f(x)=\operatorname{sign}(w \cdot x+b)

  • 感知机模型对应于输入空间（特征空间）中的分离超平面w \cdot x+b=0。

2. 感知机学习策略

1）数据集的线性可分性

  • 如何数据集T如果存在某个超平面S能够将数据集的正实例点和负实例点完全正确地划分到超平面的两侧，称数据集T为线性可分数据集

2）感知机的学习策略

  • 假设训练数据集是线性可分的，感知机学习的目标是求得一个能够将训练集正实例点和负实例完全正确分离超平面。为了找到这样的超平面，即确定感知机模型的参数w，b，需要需要确定一个学习策略，即定义损失函数并将其损失函数极小化
  • 损失函数的一个自然选择是误分类点的总数，但这样的损失函数不是参数w，b的连续可导函数，不易优化
  • 损失函数的另一个选择是误分类点到超平面S的总距离，这个是感知机所采用的

3. 感知机学习算法

  • 感知机学习问题转化为求解损失函数的最优化问题
  • 最优化的方法是随机梯度下降法

1）感知机学习算法的原始形式

\min _{w, b} L(w, b)=-\sum_{x_{i} \in M} y_{i}\left(w \cdot x_{i}+b\right)

  • 对给定一个训练集，求参数w，b，使损失函数极小化。M为误分类点的集合
  • 感知机学习算法是误分类驱动的，采用随机梯度下降法：先任意选取一个超平面w0，b0，然后用 梯度下降法不断地极小化目标函数

w = w + \eta y_{i}x_{i}

b = b + \eta y_{i}

  • 极小化过程中不是一次使M中所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降

2）算法的收敛性

  • 对应线性可分数据集感知机学习算法原始形式收敛，即经过有限次迭代可以得到一个将训练数据集完全正确划分的分离超平面
  • 感知机学习算法存在许多解，这些解既依赖于初值的选择，也依赖于迭代过程中误分类点的选择顺序。
  • 为了得到唯一的超平面，需要对分离超平面增加约束条件

3）感知机学习算法的对偶形式

  • 对偶形式的基本想法是，将w和b表示为实例Xi和标记Yi的线性组合的形式，通过求解其系数而求得w和b
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

相关阅读更多精彩内容

  • 李航统计学习方法（二）-感知机算法
    感知机算法 《统计学习方法》系列笔记的第二篇，对应原著第二章。大量引用原著讲解，加入了自己的理解。对书中算法采用P...
    文子轩阅读 6,367评论 0赞 3
  • 《统计学习方法》笔记（二）感知机模型
    前言 关于写作： 博主（暂且如此自称）是北京某高校的计算机系研究生在读，入行AI领域时间不久，正在努力进修。最近利...
    菜鸟研究生阅读 3,978评论 0赞 2
  • 第二章 感知机
    感知机（perceptron）： ①二分类线性分类模型； ②输入为实例的特征向量，输出为实例的类别，+1、-1； ...
    骑鲸公子_阅读 4,350评论 0赞 0
  • 感知机模型原理（二）
    ３. 感知机算法的原始形式 在之前我们提到过感知机模型的损失函数为, 感知机的算法本质上就是求解损失函数最优的过程...
    徐_清风阅读 5,104评论 0赞 0
  • 感知机
    1.前言 感知机1957年由Rosenblatt提出，是神经网络与支持向量机（Support Vector Mac...
    冷寒香阅读 4,280评论 0赞 1

友情链接更多精彩内容