第三章线性模型
线性模型的公式
- W是d维权重集合，
- X是d维样本集合，
得到的预测结果y，，但是这个结果是一些离散标签，需要引入一个非线性的决策函数g()来预测输出目标
这里主要介绍的四中不同的线性分类模型：logistic回归，softmax回归，感知器（MLP），支持向量机（SVM）
3.1 线性判别函数和决策边界
3.1.1 二分类
3.1.2 多类分类
分类的类别数C大于2，需要多个线性判别函数。如果类别为，常用分类方式：
- 一对其余：多类分类转为C个一对其余的二分类
- 一对一：多类分类转为C(C-1)/2个一对一的二分类
- argmax：改进的一对其余方式，需要C个判别函数，能够解决“特征空间中存在难以确定类别的区域”的问题
3.2 Logistic回归
使用激活函数解决连续的线性函数不适合分类的问题，将线性函数值域压缩到(0,1)之间，表示概率。
在Logistic回归中，使用Logistic函数作为激活函数。
标签y=1的后验概率：
标签y=0的后验概率：
现在对上面的公式进行变换
3.2.1 参数学习
Logistic回归采用交叉熵作为损失函数，梯度下降作为参数优化。
3.3 softmax回归
也叫多项、多类Logistic回归，是多类分类问题的推广。
向量表示
决策函数是argmax
3.4 感知器
是一种简单的二类线性分类模型
3.4.2 感知器的收敛性
3.4.3 参数平均感知器
3.4.4 扩展到多类分类
3.5 支持向量机SVM
是一个经典两类分类算法，其找到的分割超平面具有更好的鲁棒性。
3.5.1 核函数
将样本映射到更高维度，解决原始特征空间线性不可分的问题。
3.5.2 软间隔
学的有点崩坏了，这本书得配合练习来做。
