机器学习-线性回归模型

问题定义

给定数据集 $D=\{(\boldsymbol{x}_1, y_1),(\boldsymbol{x}_2, y_2),\cdots,(\boldsymbol{x}_m, y_m) \}$ ， $\boldsymbol{x}_i=(x_{i1};x_{i2};\cdots;x_{id})$ 是一个向量， $y_i\in\mathbb{R}$ 是一个标量。数据集中的每个数据对 $(\boldsymbol{x}_i, y_i)$ 可以看做空间中的一个点，那么线性回归问题就是试图学得一个超平面，使得数据集中的点尽量落在或者靠近这个超平面。 $f(\boldsymbol{x}_i) = \boldsymbol{wx}_i+b, \quad s.t. \quad f(\boldsymbol{x}_i)\simeq y_i$
衡量 $f(\boldsymbol{x}_i)$ 与 $y_i$ 之前的差别，可以采用均方误差这种性能度量。数据集D中的每个样本的误差为 $e_i=(f(\boldsymbol{x}_i) - y_i )^2$ ，均方误差就是所有样本的误差的加和平均，即 $E(f;D) = \frac{1}{m} \sum_{i=1}^m\limits(f(\boldsymbol{x}_i) - y_i )^2$

问题求解

在该问题中，我们要求解的变量是 $\boldsymbol{w}$ 和 $b$ ，使得 $\boldsymbol{w}$ 和 $b$ 取得最优值的时候，误差 $E(f;D)$ 取得最小值。即如下优化问题：
$\begin{aligned}(\boldsymbol{w}^*,b^*)=\mathop{\arg\min}_{(\boldsymbol{w},b)}\sum_{i=1}^m(f(x_i) - y_i)^2 \\ =\mathop{\arg\min}_{(\boldsymbol{w},b)}\sum_{i=1}^m(y_i - wx_i-b)^2 \end{aligned}$
求最大最小值的问题，可以对 $w$ 和 $b$ 求关于损失函数 $E$ 的偏导数，然后令导数为0，得到一组等式，联立求解方程即可。
$\begin{align} \frac{\partial E_{(w,b)}}{\partial w}&=2\biggl(w\sum_{i=1}^mx_i^2 - \sum_{i=1}^m(y_i-b)x_i\biggr)=0, \\ \frac{\partial E_{(w,b)}}{\partial w}&=2\biggl(mb - \sum_{i=1}^m(y_i - wx_i)\biggr)=0, \end{align}$

机器学习-线性回归模型

问题定义

问题求解

推荐阅读更多精彩内容