1.什么是线性回归

在统计学中，线性回归（linear regression）是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归，大于一个自变量情况的叫做多元回归（multivariate linear regression)。（来自维基百科）简单的说，线性回归就是给出一个点集D，用一个函数去拟合这个点集，并且使得点集与拟合函数间的误差最小。

对于给定数据集 $\mathbb{D}=\left\{\left(\overrightarrow{\mathbf{x}}_{1}, \tilde{y}_{1}\right),\left(\overrightarrow{\mathbf{x}}_{2}, \tilde{y}_{2}\right), \cdots,\left(\overrightarrow{\mathbf{x}}_{N}, \tilde{y}_{N}\right)\right\}$ ，其中 $\overrightarrow{\mathbf{x}}_{i}=\left(x_{i, 1}, x_{i, 2}, \cdots, x_{i, n}\right)^{T} \in \mathcal{X} \subseteq \mathbb{R}^{n}, \tilde{y}_{i} \in \mathcal{Y} \subseteq \mathbb{R}$ 。

线性回归模型试图找到一个参数 $\overrightarrow{\mathbf{w}}$ 来表述特征值与目标之间的关系: $\overrightarrow{y}=f(\overrightarrow{\mathbf{x}})=\overrightarrow{\mathbf{w}} \cdot \overrightarrow{\mathbf{x}}+b$ (1)

为了表示方便可以将（1）式写成：

$f(\overrightarrow{\mathbf{x}})=\overrightarrow{\mathbf{w}} \cdot \overrightarrow{\mathbf{x}}=\sum_{j=0}^{N} w_{j}\cdot x_{j}$ (2)

i表示第 i 个样本，j 表示样本中第 j 个属性。

注意：上面定义中 j 的取值范围是1~n； (2)式中 j 的取值范围是0~n,此时 $\overrightarrow{\mathbf{x}}_{i}=\left(1,x_{i, 1}, x_{i, 2}, \cdots, x_{i, n}\right)$ 此时 $w_{0}$ 即为（1）式中的偏移量b。

形如 $f(\overrightarrow{\mathbf{x}})=\overrightarrow{\mathbf{w}} \cdot \overrightarrow{\mathbf{x}}+b$ 如果特征向量 $\overrightarrow{\mathbf{x}}$ 只有一个信息字段特征1 ，则该问题被称作一元线性回归(simple linear regression )；如果特征向量 $\overrightarrow{\mathbf{x}}$ 有多个字段信息特征，该问题也被称作多元线性回归(multivariate linear regression)。

1.2 线性回归的损失函数

在线性回归的过程中，预测结果和真实结果是存在误差的，误差的大小通常用损失函数表示。在回归里面每个方法都有自己的损失函数。所以本文中（1）式可以写成 $\overrightarrow{y}=f(\overrightarrow{\mathbf{x}}) + \xi =\overrightarrow{\mathbf{w}}^{T} \cdot \overrightarrow{\mathbf{x}}+b +\xi$ (3)

（2）式中b表示函数的偏置，为了表示方便可以将（2）中 $f(\overrightarrow{\mathbf{x}})$ 一样写成 $\overrightarrow{y}=f(\overrightarrow{\mathbf{x}}) + \xi =\overrightarrow{\mathbf{w}}^{T} \cdot \overrightarrow{\mathbf{x}} +\xi$ （4）

一般来说，在机器学习算法表示中，更习惯用（2）式和（4）来表示。

1.3 广义线性回归的定义

在现实生活中并不是所有的特征向量都能够用简单的用特征与权重的线性组合表示，如下图，函数与某些特征向量之间可能是平方、立方等的关系，这种情况的回归方程被称作广义线性回归。

图.1 广义线性回归举例

$f(\overrightarrow{\mathbf{x}})=\overrightarrow{\mathbf{w}}^{T} \cdot \mathbf{\phi}(\overrightarrow{\mathbf{x}})=w_{0}+\sum_{j=1}^{N} w_{j} \phi_{j}(x)$ 。其中， $w_{j}$ 是系数， $w$ 是这个系数组成的向量，它的影响着不同维度的 $\phi_{j}(x)$ 在回归函数中的影响度。例如，对于房子的售价来说，表示房子朝向的权重 $w_{face}$ 一定比表示房子面积权重的 $w_{area}$ 更小。

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

机器学习之线性回归（1.3.1）

机器学习之线性回归（1.3.1）

1.什么是线性回归

1.2 线性回归的损失函数

1.3 广义线性回归的定义

相关阅读更多精彩内容

友情链接更多精彩内容