摘要
线性回归解决预测问题，细分为一般线性回归、多项式回归、广义线性回归的递进关系，Logistic和Softmax回归解决分类问题，Logistic回归解决二分类，Softmax解决多分类问题。
1、线性回归
一般在线性回归中人们都会举房价预测的例子，
式子中x1表示房屋面积，x2表示卧室数量，而房价与这两个变量直接相关，所以我们假设关系如上图所示，我们的目的是找到合适的cita，使得对每个输入x，都能得到一个y，越接近实际值越好，这里我们定义接近程度的指标，使之越小越好，即目标函数：
此时的目的是求出使得
最小，即误差最小，即拟合实际最好的参数。这里求cita的方法有最小二乘和梯度下降，梯度下降参见: 优化算法总结
，最小二乘就是直接算：
当X^T*X不可逆时，加入扰动：
梯度下降算法就是不断的更新cita使得J越来越小，直到找到最优解或者局部最优解：
当我们在设计模型时，为了提高准确率可能会加入其它变量，比如房屋价格的例子中除了面积和我是外，加入了是否为学区房、房屋年龄等变量，此时模型会变得复杂，有可能造成在训练集上可能拟合的很好，但是在测试集上效果不好的情况，也就是过拟合。
防止过拟合的方法可以在目标函数中加入正则项，更加详细的说明参见：正则
L1正则(Lasso回归)：
L2正则(岭回归)：
Lasso回归可以使得特征的参数变小，甚至为0，因此有特征选择的能力，泛化能力强，求解复杂。
Ridge回归不舍弃特征的同时缩小参数，使得模型相对稳定，求解直接求导=0即可。
加入正则化的变化
这里加入正则的目的是使得参数趋越小越好，参数越小越平滑，当输入有变化时输出的变化不会太大变化，避免了一些噪声、异常数据的影响。同时的值越大，在训练集上得到的值error越大，在测试集上随着
的增大，会更看中正则的值而弱化error的影响，所以在测试error会降低，但是当
增大到一定程度时，error将会增大。
2、多项式回归和广义线性回归
多项式回归：
将模型特征如果变为多次的，例如关于特征的模型
由映映射得到5元特征
，则原式可写成：
重新把不是线性回归变成了线性回归。
广义线性回归：
多项式回归是对特征的推广，广义线性回归是对y的推广，比如，
与
满足线性关系，一般化的广义线性回归：
。
3、Logistic回归和softmax回归
线性回归模型的y是连续的，如果y是离散的，此时若再给y一个函数转换g，使得g(y)的值在某个区间上是类别A，某个区间上是类别B，则就有了分类的概念，即得到了分类模型，在softmax回归分类模型中，我们引入的g是sigmoid函数，大于0.5的分类为1，小于0.5的分类为0。
sigmoid函数的形式：
，令
，则
二元逻辑回归的损失函数
y的取值只能是0和1，即：
（式1）
（式2）
二者结合得到y的概率分布表达式：
同时我们可以看到，将式子1定义为事件发生的概率，则事件发生的几率为
，整理得:
，即输出
的对数几率是输入
的线性表示模型。
用极大似然参数估计
取对数似然得到：
再取反就转化成了目标函数的优化问题，用梯度下降法或者拟牛顿法求解最小值。
softmax回归
未完待续...
4、回归的总结
线性回归是f对输出变量y的拟合，逻辑回归是对为1的样本的概率的拟合
拟合函数与预测函数的关系，是将拟合函数做一个逻辑回归的转换，转换后是的y的值属于(0, 1)
