模型描述
问题：房价预测（多变量线性回归）
把房子的大小、房间的数量、楼层数和房龄作为输入变量，输出房子的预测价格
假设函数：
可以由此推导出多变量线性回归的假设函数：
为了简化函数，设，即任意第
个样本都有特征量
，
输入变量和参数
均为
维向量
符号定义
-- 输入变量的个数
-- 第
个训练样本（特征向量）
-- 第
个训练样本中第
个特征量的值
多元梯度下降
代价函数：
梯度下降算法定义：
repeat{
}
多变量梯度下降：
repeat{
}
梯度下降的特征缩放
目的：将特征的取值约束到[-1,+1]范围，让梯度下降更快
解决的问题：当不同特征值的范围相差很大或很小时，执行梯度下降的效率不高，耗费时间更多
例子：
不需缩放
不需缩放
需要缩放
需要缩放
缩放方法：
表示平均值，
表示范围
学习率
合适的学习率的选择能极大提高梯度下降的效率，通常按如下规律测试的值：
再根据损失函数-迭代次数图像判断是否合适
曲线意味着梯度下降没有正常工作，通常需要缩小学习率的值
这样的曲线也要缩小学习率的值
正规方程法
正规方程提供了一种求的解析解法，可以一次性求解
的最优值
假设有个训练样本，每个样本包含
个特征变量，如下图所示：
同多元梯度下降一样，我们设，即任意第
个样本都有特征量
，
可以构建矩阵和向量
，
是m*(n+1)维矩阵，
是m维向量,其中
是训练样本数，
是特征变量数，则有如下结论：
最小化
正规方程在不可逆情况下的解决办法：
1.删除存在线性关系的特征变量
2.减少特征变量个数
正规方程和梯度下降的比较
当特征变量个数超过一万时，效率不高可能会得到体现，倾向于选择梯度下降
