对于一个回归模型（比如多项式回归）而言，假如我们用MSE作为其损失函数，为了避免其参数过多导致模型过拟合，我们可以加入正则化项。
当我们加一个平方项：
其中\theta是该模型各项的系数。
这样的正则化就是L2正则化，就是加了一个平方项。
如果不加平方项，而是绝对值：
这样的方法被称作L1正则化，也就是Lasso回归的方式。因为Lasso趋向于使得一部分\theta为0，所以Lasso可以做特征选择。
此外还有一种L0正则，也就是引入一项，使得的个数尽可能的小。但是这是一个离散最优化问题，可能需要穷举，这是一个NP难的问题。所以我们实际上是用L1正则来取代这种方法。
最后还有弹性网络(Elastic Net)，其实就是将L1与L2正则项结合起来。
