单变量线性回归

单变量线性回归是机器学习当中最简单最基础的问题

模型描述

经典回归问题：房价预测（一元线性回归\单变量线性回归）

h表示假设函数，把房子的大小作为输入变量(x)，输出房子的预测价格(y)

$h(x)=θ_0+θ_1 x，θ_i$ 称为模型参数

符号定义

m -- 训练样本的数量

x -- 输入变量，或者说是特征

y -- 输出变量，也就是要预测的目标变量

(x, y) -- 一个训练样本

$(x^{(i)},y^{(i)})$ -- 第i个训练样本

代价函数一般指损失函数，在机器学习中用于模型的参数估计

在单变量线性回归中，我们要解决的是一个最小化问题，即求最小的 $θ_0$ 和 $θ_1$ ，要使h(x)和y之间的差异最小化，整体目标函数如下：

$\frac{1}{2m} \sum_0^m (h{(x^{(i)})}-y^{(i)})^2$

问题变成了找到能使训练集中预测值和真实值的差的平方和的 $\frac{1}{2m}$ 最小的 $θ_0$ 和 $θ_1$ 的值，即可定义代价函数：

$J(\theta_0,\theta_1)=\frac{1}{2m} \sum_0^m (h{(x^{(i)})}-y^{(i)})^2$

也叫做平方误差函数，或平方误差代价函数，适合解决回归问题，是常用的手段

梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)

在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值

定义：

repeat until convergence{

$\theta_j := \theta_j - \alpha {\frac{∂}{∂\theta_j}} J(θ_0,θ_1 )$ (j = 0 and j = 1)

}

每次更新 $θ_0$ 和 $θ_1$ ：

$temp0:= θ_0−α{\frac{∂}{∂θ_0}} J(θ_0,θ_1 )$

$temp1:= θ_1−α{\frac{∂}{∂θ_1}} J(θ_0,θ_1 )$

$θ_0 := temp0$

$θ_1 := temp1$

注解：

符号≔表示赋值，=表示相

α表示学习率，用来控制梯度下降时迈出多大的步子，α大，梯度下降就快

当接近局部最优点时，梯度下降的速度自动会减慢，即变化幅度减小

将单变量线性回归代价函数代入梯度下降算法：

$\frac{∂}{∂θj} J(θ_0,θ_1 ) = \frac{∂}{∂θj} \frac{1}{2m} \sum_0^m (h{(x^{(i)})}-y^{(i)})^2$

$j = 0 : \frac{∂}{∂θj} J(θ_0,θ_1 ) = \frac{1}{m} \sum_0^m (h{(x^{(i)})}-y^{(i)})$

$j = 1 : \frac{∂}{∂θj} J(θ_0,θ_1 ) = \frac{1}{m} \sum_0^m (h{(x^{(i)})}-y^{(i)})·(x^{(i)} )$

repeat until convergence{

$θ_0 := θ_0 - α \frac{1}{m} \sum_0^m (h{(x^{(i)})}-y^{(i)})$

$θ_1 := θ_1 - α \frac{1}{m} \sum_0^m (h{(x^{(i)})}-y^{(i)})·(x^{(i)} )$

}