待完善
1、偏差与方差
我们对学习算法的期望泛化错误率进行拆解，以回归任务为例。
假设
泛化误差可分解为偏差、方差与噪声之和。
决策树虽然在设计时也考虑过模型的方差，但不管怎么说也是在生成之后，其泛化误差一直都不是很理想，还是容易过拟合。
2、集成学习
目前，有三种常见的集成学习框架：bagging，boosting和stacking
bagging：从训练集从进行子抽样组成每个基模型所需要的子训练集，对所有基模型预测的结果进行综合产生最终的预测结果：
boosting：训练过程为阶梯状，基模型按次序一一进行训练（实现上可以做到并行），基模型的训练集按照某种策略每次都进行一定的转化。对所有基模型预测的结果进行线性综合产生最终的预测结果：
stacking：将训练好的所有基模型对训练基进行预测，第j个基模型对第i个训练样本的预测值将作为新的训练集中第i个样本的第j个特征值，最后基于新的训练集进行训练。同理，预测的过程也要先经过所有基模型的预测形成新的测试集，最后再对测试集进行预测：
有了这些基本概念之后，直觉将告诉我们，由于不再是单一的模型进行预测，所以模型有了“集思广益”的能力，也就不容易产生过拟合现象。
3、boosting
boosting是一个加法模型，这些基模型之间是串行的。
先从一般的前向分步算法讲起
当什么什么的时候就是adaboost算法
当回归，，称为梯度boosting，
3、GBDT（Gradient Boosting Decision Tree）
- 我们要构建一个串行的加法集成学习器，使得
其中每一个弱分类器$f_i(x)$的
4、前向分布算法
图片.png
5、Adaboost
假设给定一个二分类的训练数据集X和y，其中y取值-1和+1.
Adaboost 算法是特殊的前向分布算法，这是模型由基本分类器组成，损失函数为指数函数 exp(-yf(x))
算法（Adaboost）
(1) 初始化训练数据的权值分布
梯度boost算法
同样是前向分布算法，我们暂时限定模型的目的为回归，且损失函数采用测度类型，即$\sum||y-f(x)||_{?}$，同时去除前向分布算法中每一个基模型前的系数$\alpha$。在这些准备工作后，我们再看每一步的迭代过程
$$\arg\min_{f}\sum\mathcal{L}(y_i)$$
