线性回归：假设噪声服从高斯分布的线性回归模型。
文中公式摘自《机器学习与模式识别》
一、线性回归模型
最简单的线性回归模就型是输入变量的线性组合：
这个模型是参数w的线性函数，同时也是输入x的线性函数，为了扩展模型的能力，将输入x替换成一组非线性基函数ϕj (x)，变成下面的样子：
为了形式的简洁，定义 ϕ0(x) = 1，将上式简化：
如果选取幂函数为基函数
模型就变成了多项式函数，可以用来拟合多项式曲线。
基函数也可以被看作是从数据中提取的特征。
可以根据不同的需要选取不同得基函数，比如样条函数，高斯基函数，sigmoid基函数。
二、线性回归的目标函数
线性回归的优化有两种方式 最小化平方和误差函数和最大化负对数似然函数。
1、平方和误差函数
这个误差函数是基于欧几里得距离（L2范数）的度量，但是有些问题并不适合用欧几里得距离度量误差。其他的误差度量方式比如曼哈顿距离（L1范数），适用于城市最短行车路径问题。自然语言处理中常用的的语义相似度度量方式如余弦相似度。
2、对数似然函数
似然函数的含义是在该参数下事件发生的概率，最大化似然函数就是最大化在该参数下事件发生的概率。这里就是要最大化参数w下预测值为t的概率。
这里我们先假设回归的误差服从高斯分布
其中ϵ是⼀个零均值的⾼斯随机变量，精度（⽅差的倒数）为β。
假设每个数据点都独立地服从公式（3.8）的分布，可以得到似然函数如下：
对似然函数取对数
可以看出公式（3.12）和公式（1.2）是相同的。
从公式（3.11）可以看出最大化对数似然函数和最小化平方和误差函数是等价的，前提是噪声服从高斯分布。从公式（3.11）中可以看出来，公式（3.12）的平方和误差来自高斯分布的指数部分，如果噪声服从的是拉普拉斯分布，此时最大化似然函数等价于最小化 绝对值误差函数。
三、线性回归的优化
1、似然函数对w求梯度，并求梯度为0的根，发现是有解析解的。
但是这个解析解需要求设计矩阵的乘积及乘积的逆矩阵，计算量会比较大，在实际中并不采用这种方法优化。
2、迭代重加权最小平方（牛顿法）
和解析解一样，由于计算量太大所以实际中并不用。
3、通常采用梯度下降法进行优化
关于梯度下降法又分为批梯度下降、随机梯度下降和最小批梯度下降。其中随机梯度下降也就是所说的在线算法（顺序算法）。
四、正则化
在实际应用中由于数据不足或者模型过于复杂，很容易造成过拟合。其中一种解决办法就是正则化。正则化就是限制参数w的分布，从而限制模型的函数空间，降低模型复杂度。
下面以平方和误差函数为例，假设参数w服从高斯分布，平方和误差函数变成
正则项
也叫作L2正则化，因为形式和L2范数一致。L2正则化倾向于使参数w靠近0分布。
从贝叶斯的角度理解正则化：
最大化后验概率 MAP：p(w|t) = p(t|w)*p(w)
p(t|w)就是上面的似然函数，正则项即来自p(w)分布，这就是为什么说L2正则化服从高斯分布。
对p(w|t)取对数即可得到公式（3.27），去掉了常数项
和系数 -β
下面给出一个正则化误差函数的一般形式：
当w服从拉普拉斯分布时q=1，即L1正则化。
