思维导图如下：

在机器学习应用中，特征工程扮演重要的角色，可以说特征工程时机器学习应用的基础。我们都知道，数据和特征决定了机器学习算法的上限，而模型和算法只是不断逼近这个上限而已。

1、特征提取

特征提取是对原数据进行变换的过程，我们首先将原始数据转化为实向量。原始数据有很多类型，比如数值类型、离散类型、文本、图像以及视频等等。将原始数据转化为实向量后，对应的特征空间不一定是最佳的特征空间。为了让模型更好地学习到数据中隐藏的规律，可能还需要对特征进行变换。

对于特征提取，我们一般可以先进行探索性数据分析，然后针对不同类型的特征，采取不同的提取方法。

1.1 探索性数据分析

探索性数据分析（Exploratory Data Analysis,EDA)是采用各种技术在尽量少的先验假设条件下，探索数据内部结构和规律的一种数据分析方法或理念。

EDA技术通常分为两类。一类是可视化技术，如箱形图、直方图、多变量图、链图、帕累托图、散点图、茎叶图、平行坐标、让步比、多为尺度分析、目标投影追踪、主成分分析、多线性主成分分析、降维、非线性降维等。另一类是定量技术，如样本均值、方差、分位数、峰度、偏度等。

1.2 数值特征

数值特征的数据具有实际测量意义，可分为离散型和连续型。数值特征常用的处理方法有：
截断：保留重要信息的前提下对特征进行截断、截断后的特征也可看做是类别特征。
二值化
分桶：常用的分桶方法有均匀分桶、分位数分桶。
缩放：常用的缩放方法又标准化缩放（均值为0，方差为1）、最大最小值缩放、范数归一化。
缺失值处理：处理方法常见的有补均值、补中位数或者直接丢弃
特征交叉：对两个数值变量进行加减乘除等操作。也可以通过FM、FFM等模型进行自动的特征交叉组合。
非线性编码：多项式核、高斯核或者使用树模型的叶结点进行非线性编码。
行统计量：均值、方差、最大值、最小值、偏度、峰度等。

1.3 类别特征

类别特征也就是我们常说的离散变量，常见的处理方法有：
自然数编码：给每一个类别分配一个编号。
独热编码：这是我们最常用的处理方法，即转换为one-hot。
分层编码：对于邮政编码或者身份证号等类别特征，可以取不同位数进行分层，然后按层次进行自然数编码。
散列编码：对于取值特别多的类别特征，可以先使用散列函数进行散列操作，避免特别系数。
计数编码：将类别特征用其对应的计数来代替。
计数排名编码：利用计数的排名对类别特征进行编码
目标编码：基于目标变量对类别特征进行编码
类别特征之间交叉组合
类别特征和数值特征之间交叉组合

1.4 时间特征

常用的时间特征有：年、月、日、时、分、秒、星期几、年的第几天、一天过了多少分钟、季度、是否闰年、是否季度初、是否季度末、是否周末、是否月度末、是否营业时间、是否节假日。

还有一种时间特征是基于滑动窗口的统计特征。

1.5 空间特征

经纬度、行政区ID、街道、城市、距离等等。

1.6 文本特征

对文本特征进行预处理，我们常用的流程有：将字符转换为小写、分词、去除无用字符、词性标注、提取词根、拼写纠错、词干提取、标点符号编码、文档特征、实体插入和提取、Word2Vec、文本相似性、去除停止词、去除稀有词、TF-IDF、LDA、LSA等。

2、特征选择

特征选择是从我们提取的特征集合中选出一个子集。特征选择的目的有三个：
1、简化模型，使模型更易于研究人员和用户理解
2、改善性能
3、改善通用型、降低过拟合风险。

常用的特征选择方法有三类：过滤方法、封装方法和嵌入方法。

2.1 过滤方法

使用过滤方法进行特征选择不需要依赖于机器学习算法。主要分为单变量过滤方法和多变量过滤方法。常见的过滤方法有：
覆盖率计算每个特征的覆盖率。
皮尔逊相关系数：计算两个特征之间的相关性。
Fisher得分：用于分类问题，好的特征应该在同一类别中取值比较相似，不同类别中差异较大。
假设检验
互信息：在概率论或者信息论中，互信息用来度量两个变量之间的相关性。互信息越大表明两个变量相关性越高。
最小冗余最大相关性：对根已选择特征的相关性较高的冗余特征进行惩罚。
相关特征选择CFS：好的特征集合包含给目标变量非常相关的特征，但这些特征之间彼此不相关。

2.2 封装方法

封装方法直接使用机器学习算法评估特征子集的效果。

常用的封装方法有：
完全搜索
启发式搜索：序列前向选择和序列后向选择
随机搜索

2.3 嵌入方法

嵌入方法将特征选择过程嵌入到模型的构建过程中。

常用的方法有LASSO回归、岭回归、树方法。

对于特征选择方法，总结如下：