- 单变量线性回归
- 多变量线性回归
- 局限性
- 梯度下降法
- 优点
- 缺点
单变量线性回归
- 模型
线性回归假设数据集中每个yi和xi之间存在一种线性关系，针对这种未知的线性关系可以提出如下的假设函数h(x)：
屏幕快照 2018-02-24 上午11.55.26.png
那么接下来我们要通过损失函数来选择最好的模型。
-
损失函数
屏幕快照 2018-02-24 上午11.16.27.png
除以m代表均方误差，平方和除以2便于求导。
此时我们分别对W0和W1求导，可以算出来W0和W1的值。
屏幕快照 2018-02-24 上午11.57.56.png
多变量线性回归
-
模型
屏幕快照 2018-02-24 上午11.53.42.png
屏幕快照 2018-02-24 上午11.27.44.png
-
损失函数
屏幕快照 2018-02-24 上午11.25.44.png
写出矩阵形式。
屏幕快照 2018-02-24 上午11.59.06.png
继续求导可以算出W的值。
屏幕快照 2018-02-24 下午12.01.17.png
局限性
1.X逆转不存在
2.样本特征n非常大时，逆转计算很耗时
3.如果拟合函数不是线性的，这时无法使用最小二乘法，需要通过一些技巧转化为线性才能使用
4.一些特殊情况；当样本量m很少，小于特征数n的时候，这时拟合方程是欠定的，常用的优化方法都无法去拟合数据
梯度下降法
开始时我们随机选择一个参数的组合（θ0,θ1,...,θn），计算代价函数，然后我们寻找下一个能让代价函数值下降最多的参数组合。我们持续这么做直到到到一个局部最小值（local minimum）。直白的话说，梯度下降原理：将函数比作一座山，我们站在某个山坡上，往四周看，从哪个方向向下走一小步，能够下降的最快。如图所示。
屏幕快照 2018-02-24 下午3.48.12.png
屏幕快照 2018-02-24 下午4.02.56.png
上面是一个简单的图，明显当斜率为0的时候损失函数为最小值。我们随机选择一个位置，当此点斜率大于0的时候，所以损失函数有上升趋势，那么我们就需要减少θ的值，反之增加。梯度下降法就是根据斜率来调整θ，从而确定最小损失函数的过程。
算法步骤如下：
1.随机选择一组θ
2.不断的变化θ，让损失函数J（θ）变小
屏幕快照 2018-02-24 下午3.53.15.png
α 是代表学习速率（过小的话可能会导致进行很多次，过大的话可能会直接越过损失函数最小点），右边那部分是损失函数J（θ）对θ的偏导数。
特点
解析解
优点
简单，存在解析解
缺点
不能拟合非线性数据，存在欠拟合。
