3.1基本形式

线性模型试图学得一个通过属性的线性组合来进行预测的函数，即

线性模型函数

一般用向量形式写成

其中w是一个参数向量。w和b学得以后，模型就得以确定。

线性模型形式简单、易于建模，但却蕴含着机器学习中一些重要的基本思想。许多功能强大的非线性模型可在线性模型的基础上通过引入层级结构或高维映射而得。此外，由于w直观的表达了各属性在预测中的重要性，因此线性模型有很好的解释性。

3.2线性回归

线性回归（linear regression）试图学得一个线性模型以尽可能准确地预测实值输出标记。给定数据集

先考虑最简单的情形：输入属性的数目只有一个。线性回归试图学得

这个模型最为关键的地方是确定w和b。即如何衡量f(x)与y之间的差别。均方误差是回归任务中最常用的性能度量，因此我们可试图让均方误差最小化，即

均方误差有非常好的几何意义，它对应了常用的欧氏距离。基于均方误差最小化来进行模型求解的方法称为“最小二乘法”。在线性回归中，最小二乘法就是试图找到一条直线，使得所有样本到直线上的欧式距离之和最小。

求解w和b使得

最小化的过程，称为线性回归模型的最小二乘“参数估计”。分别对w和b求导可得到

然后令上面两式为0，可得到w和b最优解的闭式解为

其中

多元线性分析可以此类推。