对模型超参的调整

• 类似w,使用最小二乘法或者梯度下降法等最优化算法优化出来的数我们称为参数，
• 类似于 𝜆 一样，我们无法使用最小二乘法或者梯度下降法等最优化算法优化出来的数我们称为超参数

这里介绍了两种调优的方法：

• 网格搜索GridSearchCV()

class sklearn.model_selection.GridSearchCV(estimator, param_grid, *, scoring=None, n_jobs=None, refit=True, cv=None, verbose=0, pre_dispatch='2*n_jobs', error_score=nan, return_train_score=False)

estimator：所使用的分类器，如estimator=RandomForestClassifier(min_samples_split=100,min_samples_leaf=20,max_depth=8,max_features='sqrt',random_state=10), 并且传入除需要确定最佳的参数之外的其他参数。每一个分类器都需要一个scoring参数，或者score方法。
param_grid：值为字典或者列表，即需要最优化的参数的取值，param_grid =param_test1，param_test1 = {'n_estimators':range(10,71,10)}。
scoring :准确度评价标准，默认None,这时需要使用score函数；或者如scoring='roc_auc'，根据所选模型不同，评价准则不同。字符串（函数名），或是可调用对象，需要其函数签名形如：scorer(estimator, X, y)；如果是None，则使用estimator的误差估计函数。

• 随机搜索 RandomizedSearchCV() ：
  其搜索策略如下：
  （a）对于搜索范围是distribution的超参数，根据给定的distribution随机采样；
  （b）对于搜索范围是list的超参数，在给定的list中等概率采样；
  （c）对a、b两步中得到的n_iter组采样结果，进行遍历。
  （补充）如果给定的搜索范围均为list，则不放回抽样n_iter次。
  下图说明了为什么有些情况下随机搜索可能会比grid有效。

  
  
  image.png

sample 代码

• Pipeline可以将许多算法模型串联起来，可以用于把多个estamitors级联成一个estamitor,比如将特征提取、归一化、分类组织在一起形成一个典型的机器学习问题工作流。Pipleline中最后一个之外的所有estimators都必须是变换器（transformers），最后一个estimator可以是任意类型（transformer，classifier，regresser）,如果最后一个estimator是个分类器，则整个pipeline就可以作为分类器使用，如果最后一个estimator是个聚类器，则整个pipeline就可以作为聚类器使用。