感知机

感知机求得的线性可分的超平面不唯一,只要满足使样本点可分即刻。

个人理解:建立在 数据集的线性可分 基础上,假设 y = sigmoid(wx+b),通过样本点更新初始值w和b,得到最终的超平面。

计算样本点与假设超平面距离过程中,(wx+b)/||w||,对于错误样本的,一定存在 y(wx+b)<0,则可以计算累计的误差为 -Σy(wx+b)/||w||,在这个过程中,只关注每次输入数据中错误样本,修正过程为修正错误样本与超平面距离。

表达式最后可以表示为

L(w,b) = -Σy(wx+b)/||w||

通过问题本身,仅仅是关注于样本是否分类正确,具体L的误差值大小非关注重点,因此可以简化为

L(w,b) = -Σy(wx+b) 

参数为w和b,这里求解w,b的过程利用了梯度下降(对目标函数的参数求偏导数)最终得到了

w 更新 = w - 学习率 xy

b 更新 = b - 学习率 y

以上的内容为原始形式的感知机迭代更新求解参数值的过程,这里通过计算错误点距离超平面的指作为损失函数是因为这种方式可以进行优化。


对偶形式:

个人理解:错误样本会更新w和b,因此可以通过错误样本的出现次数n,表示当前错误样本对于w和b的影响。

通过对原始形式感知机模型的w和b的替换,最终得到的表达式是关于ni。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 本文公式较多,由于简书不支持公式渲染,公式完整版请移步个人博客 1.模型 感知机的模型如下图所示: 公式表示如下所...
    月见樽阅读 5,531评论 0 1
  • 【概述】 1、感知机模型特征:感知机对应于输入空间中将实例划分为正负两类的分离超平面,属于判别模型。 2、感知机策...
    sealaes阅读 8,278评论 2 3
  • 【概述】 SVM训练分类器的方法是寻找到超平面,使正负样本在超平面的两侧(分类正确性即“分得开”),且样本到超平面...
    sealaes阅读 13,807评论 0 7
  • 感知机(perceptron)是二类分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别,取+1和-1二值...
    多了去的YangXuLei阅读 5,138评论 0 3
  • 忽然厌倦了这种生活,来到大学的这半年,一直在学校里待着,四周都是山,觉得自己像一个囚徒,被禁锢在这里,失去了自己原...
    夏日的么么茶1798阅读 2,695评论 0 6