Spark.GBDT学习-GBTRegressor

用于回归的GBT(Gradient-Boosted Trees)算法，基于J.H. Friedman. "Stochastic Gradient Boosting"实现，支持连续特征和类别特征

GBTRegressor类

定义

一个唯一标识uid，继承Predictor类，继承了GBTRegressorParams特质，该特质又继承了GBTParams和TreeRegressorParams。

class GBTRegressor (override val uid: String)
    extends Predictor[Vector, GBTRegressor, GBTRegressionModel]
    with GBTRegressorParams with DefaultParamsWritable with Logging 
{
    def this() = this(Identifiable.randomUID("gbtr"))
    ...
}

参数

同GBTClassifier的参数一样，分类和回归的默认参数只有impurity和lossType不同

1. impurity参数
   支持：variance
   默认：variance
2. lossType参数
   支持：squared(L2)、absolute(L1)
   默认：squared

方法

1. copy方法
   GBTRegressor的拷贝函数。
2. train方法
   GBTRegressor类的主要方法，和GBTClassifier基本相同，底层都是调用GradientBoostedTrees实现，只是对label没有要求。

// @input: 训练数据, DataSet
// @output: 学习到的模型, GBTRegressionModel
override protected def train(dataset: Dataset[_]): GBTRegressionModel = {
    // 得到类别特征
    val categoricalFeatures: Map[Int, Int] =
    MetadataUtils.getCategoricalFeatures(dataset.schema($(featuresCol)))
    // 转换训练数据
    val oldDataset: RDD[LabeledPoint] = extractLabeledPoints(dataset)
    // 获得特征个数及boosting策略
    val numFeatures = oldDataset.first().features.size
    val boostingStrategy = super.getOldBoostingStrategy(categoricalFeatures, OldAlgo.Regression)
    // 用于记录日志
    val instr = Instrumentation.create(this, oldDataset)
    instr.logParams(params: _*)
    instr.logNumFeatures(numFeatures)
    // 调用GradientBoostedTrees训练得到一组学习器及权重
    val (baseLearners, learnerWeights) = GradientBoostedTrees.run(oldDataset, boostingStrategy, $(seed))
    // 将学到的模型封装成GBTRegressionModel并返回
    val m = new GBTRegressionModel(uid, baseLearners, learnerWeights, numFeatures)
    instr.logSuccess(m)
    m
}

GBTRegressor对象

同GBTClassifier对象

GBTRegressionModel类

其他方法同GBTClassifierModel类，只有一个关键的方法predict需要额外说明。

1. predict方法
   **关键的预测方法，先得到每个基学习器的预测值，然后通过权重累加和得到最终的预测值，和分类方法的唯一区别就是少一步，不需要通过阈值进行类别划分。

override protected def predict(features: Vector): Double = {
    // 得到每棵树的预测结果
    val treePredictions = _trees.map(_.rootNode.predictImpl(features).prediction)
    // 乘以权重之后求和得到最终结果
    blas.ddot(numTrees, treePredictions, 1, _treeWeights, 1)
    // 不需要通过阈值进行转换
}

GBTRegressionModel对象

同GBTClassifierModel对象