感知机求得的线性可分的超平面不唯一,只要满足使样本点可分即刻。
个人理解:建立在 数据集的线性可分 基础上,假设 y = sigmoid(wx+b),通过样本点更新初始值w和b,得到最终的超平面。
计算样本点与假设超平面距离过程中,(wx+b)/||w||,对于错误样本的,一定存在 y(wx+b)<0,则可以计算累计的误差为 -Σy(wx+b)/||w||,在这个过程中,只关注每次输入数据中错误样本,修正过程为修正错误样本与超平面距离。
表达式最后可以表示为
L(w,b) = -Σy(wx+b)/||w||
通过问题本身,仅仅是关注于样本是否分类正确,具体L的误差值大小非关注重点,因此可以简化为
L(w,b) = -Σy(wx+b)
参数为w和b,这里求解w,b的过程利用了梯度下降(对目标函数的参数求偏导数)最终得到了
w 更新 = w - 学习率 xy
b 更新 = b - 学习率 y
以上的内容为原始形式的感知机迭代更新求解参数值的过程,这里通过计算错误点距离超平面的指作为损失函数是因为这种方式可以进行优化。
对偶形式:
个人理解:错误样本会更新w和b,因此可以通过错误样本的出现次数n,表示当前错误样本对于w和b的影响。
通过对原始形式感知机模型的w和b的替换,最终得到的表达式是关于ni。