单变量线性回归和多变量线性回归

1.单变量线性回归

一个例子：当需要预测房价，我们要使用一个数据集，数据集包含俄勒冈州波特兰市的住房价格。在这个数据集中我们假设price只和size这一个特征相关时，这是个监督学习，因为我们的每条数据对于size都有一个“正确答案”。那么让我们预测一个给定size的房子的房价是多少的问题就是一个回归问题。

我们将要用来描述这个回归问题的标记如下:

𝑚 代表训练集中实例的数量

𝑥 代表特征/输入变量

𝑦 代表目标变量/输出变量

(𝑥,𝑦) 代表训练集中的实例

(𝑥(𝑖),𝑦(𝑖)) 代表第𝑖 个观察实例

h 代表学习算法的解决方案或函数也称为假设(hypothesis)

其中h的一种表达的可能为 $h_{\theta }(x) =\theta _{0} +\theta _{1} x$ ，注意，这里只有一个特征/输入变量，所以称为单变量线性回归问题。

当有m个样本时，

线性回归函数写成： $h_{\theta } (x^i )=\theta _{0} +\theta _{1} x^i$ ,其中i=1,2,3,...,m 表示数据集样本的个数。

参数： $\theta _{0}, \theta _{1}$

代价函数（目标函数）： $J(\theta _{0}, \theta _{1} )=\frac{1}{2m} \sum\nolimits_{i=1}^m(h_{\theta }(x^i) -y^i ) ^2$ ，i=1,2,3,...,m

代价函数选择了误差平方和，误差平方和是大多数问题特别是回归问题的一个合理选择。

目标： $minimize_{\theta _{0} ,\theta _{1} } J(\theta _{0} ,\theta _{1} )$

下图为 $\theta _{0} ，\theta _{1} ，J(\theta _{0} ,\theta _{1})$ 的三维等高图：

可以看出存在一个全局最小值

$h_{\theta } (x)$ 平面图， $J(\theta _{0} ,\theta _{1})$ 的等高图，如下：

2.梯度下降

梯度下降是用来求函数最小值的常用算法，