引自：周志华老师的《机器学习》
线性模型
线性模型试图学习一个通过属性的线性组合来进行预测的函数。
设x有d个属性：
线性模型基本形式
1.线性回归
线性回归试图学习一个线性模型以尽可能的预测实值输出标记。
1.0 误差
如上所述：
预测值：
一元线性回归表达式：，此处c为误差，b为截距项，Y是真实值，即预测值加上误差。
误差
为什么误差服从高斯分布？
因为实际情况下，误差都是随机围绕着0来的，大多数误差经过测量被证实是服从高斯分布的。说明高斯分布对误差假设来说是一种很好的模型。
1.1均方误差
如何确定w和b？ 关键在于如何衡量f(x)和y之间的差别。
均方误差是回归任务中常用的性能度量，我们试图让均方误差最小化。即：
线性回归均方误差
均方误差对应了欧氏距离，基于均方误差最小化来进行模型求解的方法称为“最小二乘法”
在线性回归中，最小二乘法就是试图寻找一条直线，是所有的样本到直线上的欧氏距离最小。
1.2参数估计
求解w和b使得均方误差最小化的过程，称为线性回归模型的最小二乘“参数估计”。
我们将E(w,b)对w和b求导，得到：
求导
1.3 多元线性回归
如果数据集D的样本由d个属性，此时
多元线性回归
称为“多元线性回归”
数据集D表示为 的矩阵
。
X
标记y也写成向量形式：
多元线性回归
注意：在现实中 往往不是满秩矩阵，这样的话可以解出多个，他们都可以是均方误差最小化，选择哪一个解作为最终结果，就需要有学习算法的归纳偏好决定，常见的做法是引入正则化项。
1.4 对数线性回归
假设示例的输出标记是在指数尺度上变化，那就可以将输出标记的对数作为线性模型逼近目标，即：
这就是对数线性回归，实际上是求逼近
对数线性回归示意图
1.5 广义线性函数
更一般地，考虑到单调可微函数 ，令
，这样得到的模型是广义线性模型，
为“联系函数”。对数线性回归是广义线性回归模型
的特例。
