学习笔记-机器学习-（2）多元线性回归

吴恩达-机器学习课程--04: Linear regression with multiple features的学习总结：

假设现在有x1, x2, x3, x4四个特征，假设函数hθ(x) 将定义如下：

$hθ(x) =θ0+θ1x1+θ2x2+θ3x3+θ4x4$

为了方便表示，将x0=1，假设函数hθ(x)如下：

$hθ(x) =θ0x0+θ1x1+θ2x2+θ3x3+θ4x4（x0=1）$

$θ =[θ0,θ1,θ2,θ3,θ4] X=[x0 , x1, x2, x3, x4]$

可表示为： $hθ(x) =θTX$ （θT是θ的转置）

多元线性回归的梯度下降法：

和单变量线性回归类似：

求θ0

求θ1,θ2……

特征缩放（feature scaling）：为了使梯度下降收敛的更快，不同特征之间的数值范围要相近。

数据的标准化（normalization）：将数据按比例缩放，使之落入一个小的特定区间。

归一化：把数变为（0，1）之间的小数。

$x<(x-μ)/S$

μ是平均值，S可以是max-min，也可以是标准差。

多项式回归（polynomial regression）

可以自己设计特征，如已有房屋的宽即特征x1，房屋的长特征x2，可以创造出房屋的面积特征x3=x1*x2。创造新的特征可能获得更好的模型。

会选用更复杂的函数去拟合数据而不仅仅是直线。

多项式回归

正规方程(normal equation)可以直接求解出θ值

以以下数据集为例：

数据集

正规方程求 θ

带入数据

正规方程与梯度下降法各有优缺点：

Gradient

1、Need to chose learning rate

2、Needs many iterations - could make it slower

3、Works well even whenn is massive -----If n is 10 000 then look at using gradient descent

Normal equation

1、No need to chose a learning rate

2、No need to iterate, check for convergence etc.

3、Normal equation needs to compute(XTX)-1，（需要考虑矩阵不可逆的情况，但很少出现）

4、Slow of n is large