- 方法一：加入新特征的
- 通过直觉构建
- 代码实现
- 可视化评估
- 重复上述过程
- 警惕特征漏洞
- 任何人都有可能犯错—要对你得到的结果持怀疑态度！
- 你应该时刻警惕 100% 准确率。不寻常的主张要有不寻常的证据来支持。
- 如果有特征过度追踪你的标签，那么它很可能就是一个漏洞！
- 如果你确定它不是漏洞，那么你很大程度上就不需要机器学习了——你可以只用该特征来分配标签。
- 方法二：删除特征
- 删除特征的情况：噪音大、过拟合、和其他特征高度相关、使训练过程效率极大降低
- 特征不等于信息，应当只保留与信息相关的特征
- 单变量特征选择：
- sklearn 中有两大单变量特征选择工具：
SelectPercentile和SelectKBest。 两者之间的区别从名字就可以看出：SelectPercentile 选择最强大的 X% 特征（X 是参数），而 SelectKBest 选择 K 个最强大的特征（K 是参数）。 - Tf-Idf中的特征选择
vectorizer = TfIdfVectorizer(..., max_df = 0.5, ...) - 只使用部分特征时，容易出现高偏差
high bias的情况，即欠拟合（low r², large SSE）
- sklearn 中有两大单变量特征选择工具：
- 正则化
regularization- 正则化是一种自动形式的特征选择，在精确度、拟合的适当程度、低误差、拟合的复杂度之间进行平衡；
- 回归中的正则化：正则化是对额外添加的特征的惩罚项
- 套索回归
Lasso Regression中的正则化练习 - 特征选择迷你项目
Udacity 数据分析进阶课程笔记L42：特征选择
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 结合Scikit-learn介绍几种常用的特征选择方法 作者：Edwin Jarvis 特征选择(排序)对于数据科...
- 作者： Edwin Jarvis 特征选择(排序)对于数据科学家、机器学习从业者来说非常重要。好的特征选择能够提升...
- 043｜4U原则：我文章写得很好，但阅读量总是很低，怎么办？ 4U原则 第一原则：紧迫性 “装修套房的最后一道工序...
