为了降低产生过拟合的可能性，我们从样本的所有属性中选取一部分属性集用以训练模型，一种防止过拟合的方法—正则化，它将会保留所有属性。
频率学派
之前我们一直是通过求最大似然值确定参数（maximum likelihood (ML)）：
上式中的θ是基于频率学派(frequentist)的观点对待的，频率学派认为，θ是一个固定不变的常量，只是我们现在还不知道它的值，而我们的目的就是基于统计学原理获得θ的近似值。我们要通过随机产生的样本去估计这个参数，所以才有了最大似然估计这些方法。
贝叶斯学派
然而，贝叶斯学派(Bayesian)对于θ的观点与频率学派的观点是不同的，它们认为，θ是一个未知的随机变量，因此可以给出关于θ分布情况的先验概率p(θ),例如θ可能满足高斯分布等等（这是一种假设或者说是统计结果，此时并未考虑我们的训练样本）。如上为后验概率。
把每个类别的标签看成上面的参数θ，然后用样本去推测出标签的分布。贝叶斯学派强调人的先验的作用，即人以往认知的作用。并且通过不断增添新的知识，来更新以往的认知。
在频率学派中最大似然估计没有将θ视作y的估计参数，认为θ是一个常数，只是未知其值而已，比如我们经常使用常数c作为y=2x+c的后缀一样。因此对于p(y(i)|x(i);θ)中的θ,对极大似然估计求导后，可以求出一个确定的值θ。
而贝叶斯估计将θ视为随机变量，θ的值满足一定的分布，不是固定值，我们无法通过计算获得其值，只能在预测时计算积分。
然而在上述贝叶斯估计方法中， 虽然公式合理优美，但后验概率p(θ|S)很难计算，看其公式知道计算分母时需要在所有的θ上作积分，然而对于一个高维的θ来说，枚举其所有的可能性太难了。
贝叶斯方法的参数估计
贝叶斯方法的参数估计，就是通过最大化后验概率来估计模型的参数。
假定模型参数为w，数据集为D，贝叶斯通过最大化后验概率估计模型参数w，即：
后验概率的展开形式
假定如下：
1、样本独立不相关
2、模型参数独立不相关
最新的优化问题为：
参数的先验概率与正则项
当参数w的先验概率满足高斯分布：
优化问题的左项中，如果w满足N(0,1/(2λ))：
这时候的优化函数为：
同样地，参数w的先验概率满足均值为0的拉普拉斯分布，有：
这说明：
L2正则，等价于参数w的先验分布满足均值为0的正态分布
L1正则，等价于参数w的先验分布满足均值为0的拉普拉斯分布
拉普拉斯在0附近突出，周围稀疏，对应容易产生稀疏解的模型
http://blog.csdn.net/xmu_jupiter/article/details/44996261
http://www.cnblogs.com/Determined22/p/6347778.htmlhttp://blog.csdn.net/Young_Gy/article/details/58147838
http://blog.csdn.net/zhuxiaodong030/article/details/54408786
http://blog.csdn.net/Young_Gy/article/details/58147838
http://blog.csdn.net/yzheately/article/details/51120239https://www.zhihu.com/question/23536142
