date: 2018-1-15
模型
感知机的目标是找到一个可以将正负实例完全分开的分离超平面，模型的形式显而易见，为：
当在平面的上面时，划分成一类，下面一类。
策略
感知机的目标是找到一个可以将正负实例完全分开的分离超平面，需要定义一个策略，即定义（经验）损失函数并将损失函数最小化。
损失函数一个自然选择是误分类点的总数，另一个是误分类点到超平面S的总距离，是参数的连续可导函数，有利于优化。
由于是在一次迭代中是定值，对最后的结果不会产生影响，所以最后感知机的最小化代价函数是：
算法
原始形式，直接对进行求导，进行迭代：
设学习率是，则：整个模型是输入数据集T和学习率
，输出
，得到感知机模型
.
选取初值
选取数据
如果
，即是误分类点，则进行迭代更新
：
算法的对偶形式：
对偶形式可以看成是对求解问题的另一种解法，这里是将对的求导换成了对
的求导。
对误分类点逐步修改n次，则关于
的增量分别是
和
，这里
. 这样，从学习过程不难看出，最后学习到的
可以分别表示为
这样，误分类条件变成了:
当训练集线性可分时，感知机算法是收敛的，误分类次数k满足不等式：
优势是可以先求出Gram矩阵，加快计算速度。
