集成方法-1·When Does Diversity Help Generalization in Classification Ensembles

G. Wang, T. Zhou, K. -S. Choi and J. Lu, "A Deep-Ensemble-Level-Based Interpretable Takagi-Sugeno-Kang Fuzzy Classifier for Imbalanced Data," in IEEE Transactions on Cybernetics, doi: 10.1109/TCYB.2020.3016972.

摘要:研究三个问题:1)集成方法中成员的多样性度量,2)多样性与泛化性能的关系,3)基于度量的集成成员剪枝。

引言

  • 多样性度量现状:基于回归的集成中,通过误差分解来度量多样性。误差分解基于准确率和多样性,以及基于偏差和方差分解。仅适用于L2损失的回归任务。
  • 多样性和泛化性能关系:有相反的结论,各自有实验结果支撑。
  • 提出基于多样性的集成剪枝方法,提出准确率和多样性的平衡框架。

贡献

  • 提出多样性度量
  • 分析多样性和泛化性能间的关系,阐明集成多样性泛化的范围
  • 提出集成剪枝方法

相关工作

  1. 面向集成的单分类器多样性
  • 现有的多样性更多的是通过调整输入样本的分布来完成,很少通过输出标签来完成。
  • 深度网络的多样性:初始化参数、网络结构、学习优化算法。
  1. 集成中的多样性
  • 度量方法分类:主流包括基于成对比较的多样性度量、非成对比较的多样性度量。其他包括与集成的总体比较等。
  1. 多样性在集成学习中的作用
  • 基于信息理论的角度
  • 能够降低假设空间的复杂度
  1. 集成剪枝
  • 基于排序(评估函数)、基于聚类(预测相似性)以及基于不同优化目标的成员选择方法
  • 基于统计、基于动态选择的方法

方法

概要:使用误差分解的方法,计算与单分类器与集成分类器的错误差异作为度量。

具体方法和实验先留坑

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 集成学习 原理 《机器学习》周志华 8.1 个体与集成 集成学习(ensemble learning) 通过构建并...
    hxiaom阅读 1,080评论 0 2
  • 集成学习 个体与集成 集成学习通过构造多个学习器来完成学习任务。集成学习的构造是先产生一组个体学习器,然后用某种策...
    edwin1993阅读 818评论 0 0
  • 各种集成方法比较 1. AdaBoost和RF AdaBoost改变了训练数据的权值,即样本的概率分布,减少上一轮...
    木子十千阅读 956评论 0 1
  • 1 为什么要对特征做归一化 特征归一化是将所有特征都统一到一个大致相同的数值区间内,通常为[0,1]。常用的特征归...
    顾子豪阅读 6,776评论 2 22
  • 1 为什么要对特征做归一化 特征归一化是将所有特征都统一到一个大致相同的数值区间内,通常为[0,1]。常用的特征归...
    顾子豪阅读 1,447评论 0 1