递归式特征消除:Recursive feature elimination(RFE)

此算法是用来进行特征选择,属于包装法特征选择算法的其中一种。递归消除特征法使用一个机器学习模型来进行多轮训练,每轮训练结束后,消除若干权值系数对应的特征,再基于新的特征集进行下一轮训练。

那么在以经典的SVM-RFE算法中来讨论此算法。首先,在每一轮训练过程中,会选择所有特征来进行训练,继而得到了分类的超平面w*x+b=0,如果有n个特征,那么SVM-RFE会选择出w中分量的平方值最小的那个序号i对应的特征,将其删除;在第二类的时候,特征数就剩下了n-1个,继续用这n-1个特征和输出值来训练SVM;同样的,继续去掉w中分量的平方值最小所对应的特征。以此类推,直到剩下的特征数满足我们的要求为止。

具体到SVM在sklearn中应用时,可以通过学习器返回的coef_属性或feature_importance_属性来获得每个特征的重要程度,然后从当前的特征集合中移除不重要的特征。在特征集合上不断重复上述过程,直到最终达到所需要的特征数量为止。

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 看到一篇好文章分享出来,看别人是如何选特征的,作者是Edwin Jarvis 作者:Edwin Jarvis 特征...
    智能互连阅读 10,970评论 0 7
  • LR和SVM的区别 相同点:1、都是监督、分类算法,且一般处理二分类问题2、两个方法都可以增加不同的正则化项,如l...
    账号已删除阅读 7,767评论 1 8
  • 躲在黑夜的角落里喝着闷酒 一部电视剧让我想起了苦闷和忧愁 我不知道我该做些什么 我总觉得我离你的距离还很远 你哭泣...
    皆非_lx阅读 1,175评论 3 7
  • 一个人能走多远,不取决于他是不是从小成绩优秀,而是他是否在某一天,忽然明白了学习的意义,开始对知识充满好奇心。 教...
    静心生慧ww阅读 3,395评论 0 0
  • 愿你在黑夜降临的时候,得到一个安静的睡眠。愿你我,都能够做一个不晚睡的,幸福的人。 去年关于“中国睡眠质量调查”的...
    萌漢子浩浩阅读 2,994评论 0 0

友情链接更多精彩内容