防止欠/过拟合
正则化
ragularization.png
岭回归(ridge regression(L2))
ridge regression(L2).png
Lasso Regression(L1)
Lasso Regression(L1).png
Elastic Net Regularization
Elastic Net Regularization.png
特征选择
- 正则化通过缩小特征的“贡献”对特征进行选择
- 特征选择也可以通过移除特征实现
- 减少特征数目是防止过拟合的方法之一
- 对一些模型而言，更少的特征意味着更快的训练速度、更短的时间
- 分辨最关键的特征可以提升模型解释性
递归特征消除（Recursive Feature Elimination）
梯度下降（Gradient Descent）
gradient descent.png
使用线性回归的梯度下降
gradient descent with linear regression.png
随机梯度下降（Stochastic Gradient Descent）
stochastic gradient descent.png
Mini Batch Gradient Descent
一般Batch的规模约为50~256个点
Mini Batch Gradient Descent.png
