大师兄的数据分析学习笔记(十一）：特征预处理（二）
大师兄的数据分析学习笔记(十三）：特征预处理（四）
四、特征变换
- 特征变换就是根据数据特征的特性，进行一定方式的转换，使特征能够发挥出他的特点。
- 特征变换变化的方式有很多种，常见的方式如下：
1. 对指化
- 对指化就是对数据进行指数化和对数化的过程。
1.1 指数化
- 指数化就是将一个数值进行指数变换的过程。
- 指数的底数一般取自然指数
。
- 从上图中可以看到，自然指数的底数函数中大于零的部分，x轴表示的自变量变化较小，而y轴的变化较大。
- 也就是说将数据大于零部分的值之间的差距被放大了。
>>>import numpy as np
>>>nums = np.arange(0.1,1, 0.1)
>>>print(nums)
[0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9]
>>>print(np.exp(nums))
[1.10517092 1.22140276 1.34985881 1.4918247 1.64872127 1.8221188
2.01375271 2.22554093 2.45960311]
1.2 对数化
对数化就是将一个数值进行对数变换的过程。
-
对数的底通常取自然指数
其操作与指数化基本是相反的，可以将值之间的差距缩小。
>>>import numpy as np
>>>nums = np.arange(100000, 1000000, 100000)
>>>print(nums)
[100000 200000 300000 400000 500000 600000 700000 800000 900000]
>>>print(np.log(nums))
[11.51292546 12.20607265 12.61153775 12.89921983 13.12236338 13.30468493
13.45883561 13.59236701 13.71015004]
2. 离散化
- 数据离散化是将连续数据变换成离散数据的操作，一般是将连续变量分成几段。
- 数据之所以需要被离散化，是基于以下原因：
- 为了克服数据本身的缺陷，比如派出连续数据中的噪声，可以离散后用一部分去做比较。
- 某些算法的属性必须是离散值，比如朴素贝叶斯算法。
- 数据的非线性映射需求，比如连续数据中心明显的拐点或不同的数值区间，可能代表不同的意义。
- 常用的数据离散化方式包括：等频分箱、等距分箱和自因变量优化三种方式。
2.1 等身分箱
- 等身分箱会将数据分成n份，并将每份之内的数据与距离较近的边界对齐。
>>>import numpy as np
>>>import pandas as pd
>>>data = np.random.randint(1,100,20)
>>>print(data)
[60 61 74 29 21 88 39 95 45 61 15 85 21 52 30 21 97 69 48 40]
>>>pprint.pprint(list(pd.qcut(data,q=3)))
[Interval(39.333, 61.0, closed='right'),
Interval(39.333, 61.0, closed='right'),
Interval(61.0, 97.0, closed='right'),
Interval(14.999, 39.333, closed='right'),
Interval(14.999, 39.333, closed='right'),
Interval(61.0, 97.0, closed='right'),
Interval(14.999, 39.333, closed='right'),
Interval(61.0, 97.0, closed='right'),
Interval(39.333, 61.0, closed='right'),
Interval(39.333, 61.0, closed='right'),
Interval(14.999, 39.333, closed='right'),
Interval(61.0, 97.0, closed='right'),
Interval(14.999, 39.333, closed='right'),
Interval(39.333, 61.0, closed='right'),
Interval(14.999, 39.333, closed='right'),
Interval(14.999, 39.333, closed='right'),
Interval(61.0, 97.0, closed='right'),
Interval(61.0, 97.0, closed='right'),
Interval(39.333, 61.0, closed='right'),
Interval(39.333, 61.0, closed='right')]
>>>print(list(pd.qcut(data,q=3,labels=["l","m","h"])))
['m', 'm', 'h', 'l', 'l', 'h', 'l', 'h', 'm', 'm', 'l', 'h', 'l', 'm', 'l', 'l', 'h', 'h', 'm', 'm']
2.2 等距分箱
- 与等身分箱相似，等距分箱会将距离相近的数据分成n份。
>>>import numpy as np
>>>import pandas as pd
>>>data = np.random.randint(1,100,20)
>>>print(data)
[93 83 60 87 93 46 69 84 97 60 54 57 18 48 79 97 73 64 17 76]
>>>pprint.pprint(list(pd.cut(data,bins=3)))
[Interval(70.333, 97.0, closed='right'),
Interval(70.333, 97.0, closed='right'),
Interval(43.667, 70.333, closed='right'),
Interval(70.333, 97.0, closed='right'),
Interval(70.333, 97.0, closed='right'),
Interval(43.667, 70.333, closed='right'),
Interval(43.667, 70.333, closed='right'),
Interval(70.333, 97.0, closed='right'),
Interval(70.333, 97.0, closed='right'),
Interval(43.667, 70.333, closed='right'),
Interval(43.667, 70.333, closed='right'),
Interval(43.667, 70.333, closed='right'),
Interval(16.92, 43.667, closed='right'),
Interval(43.667, 70.333, closed='right'),
Interval(70.333, 97.0, closed='right'),
Interval(70.333, 97.0, closed='right'),
Interval(70.333, 97.0, closed='right'),
Interval(43.667, 70.333, closed='right'),
Interval(16.92, 43.667, closed='right'),
Interval(70.333, 97.0, closed='right')]
>>>print(list(pd.cut(data,bins=3,labels=["l","m","h"])))
['h', 'h', 'm', 'h', 'h', 'm', 'm', 'h', 'h', 'm', 'm', 'm', 'l', 'm', 'h', 'h', 'h', 'm', 'l', 'h']
3. 归一化
- 归一化实际是将数据转化到0至1之间的范围内。
- 公式：
- 根据公式可以看出，如果是最小值，则映射成0；如果是最大值，则映射成1。
- 归一化有以下好处：
- 可以直接观察单个数据仙姑低于整体情况的比例。
- 可以在不同量纲的数据特征之间建立合适的距离度量方法。
>>>import os
>>>import numpy as np
>>>import pandas as pd
>>>from sklearn.preprocessing import MinMaxScaler
>>>df = pd.read_csv(os.path.join(".", "data", "WA_Fn-UseC_-HR-Employee-Attrition.csv"))
>>>age = df.Age
>>>print(MinMaxScaler().fit_transform(np.array(age).reshape(-1,1)))
[[0.54761905]
[0.73809524]
[0.45238095]
...
[0.21428571]
[0.73809524]
[0.38095238]]
4. 标准化
- 标准化指的是将数据转换成一个标准的形式。
- 归一化实际上也是一种标准化。
- 狭义上的标准化，指的是将数据缩放到均值为0，标准差为1的尺度上，即z-score。
-
z-score的公式为：
- z-score可以用来体现数据与该特征下其它数据的相对大小和差距关系。
>>>import os
>>>import numpy as np
>>>import pandas as pd
>>>from sklearn.preprocessing import MinMaxScaler,StandardScaler
>>>df = pd.read_csv(os.path.join(".", "data", "WA_Fn-UseC_-HR-Employee-Attrition.csv"))
>>>age = df.Age
>>>print(StandardScaler().fit_transform(np.array(age).reshape(-1,1)))
[[ 0.4463504 ]
[ 1.32236521]
[ 0.008343 ]
...
[-1.08667552]
[ 1.32236521]
[-0.32016256]]
5. 数值化
- 数值化就是把非数值数据转化成数值数据的过程。
- 从下表可以看出，定类数据、定序数据、定距数据在进行运算时都有可能需要转换：
| 定类数据 | 定序数据 | 定距数据 | 定比数据 |
|---|---|---|---|
| 无大小关系 | 大小关系不好衡量 | 大小关系可以衡量，但无零点 | 大小关系可以衡量，有零点 |
| 无法进行加减法运算 | 无法进行加减法运算 | 有加减法运算，但无乘除法运算 | 有加减乘除法运算 |
- 其中定距数据可以通过归一化的方式消除物理含义，从而具备乘除的能力。
- 定类数据和定序数据在运算时需要进行数值化。
- 定序数据的数值化可以采用标签化的方式，也就是直接对数据进行数值标签的转换。
>>>import os
>>>import pandas as pd
>>>from sklearn.preprocessing import LabelEncoder
>>>df = pd.read_csv(os.path.join(".", "data", "WA_Fn-UseC_-HR-Employee-Attrition.csv"))
>>>department = df.Department
>>>print(list(department))
['Sales', 'Research & Development', 'Research & Development', ...,'Research & Development', 'Research & Development']
>>>label = LabelEncoder().fit_transform(department)
>>>print(label)
[2 1 1 ... 1 2 1]
- 定类数据的数值化需要采用独热编码(One-Hot Encode)的方式，将数据的特征变成矩阵。
>>>import os
>>>import pandas as pd
>>>import numpy as np
>>>from sklearn.preprocessing import LabelEncoder, OneHotEncoder
>>>df = pd.read_csv(os.path.join(".", "data", "WA_Fn-UseC_-HR-Employee-Attrition.csv"))
>>>ef = np.array(df.EducationField).reshape(-1, 1)
>>>encoder = LabelEncoder()
>>>lb_trans = encoder.fit_transform(ef)
>>>oht_encoder = OneHotEncoder().fit(lb_trans.reshape(-1,1))
>>>oht = oht_encoder.transform(encoder.transform(np.array(ef)).reshape(-1, 1))
>>>print(oht.toarray())
[[0. 1. 0. 0. 0. 0.]
[0. 1. 0. 0. 0. 0.]
[0. 0. 0. 0. 1. 0.]
...
[0. 1. 0. 0. 0. 0.]
[0. 0. 0. 1. 0. 0.]
[0. 0. 0. 1. 0. 0.]]
6. 正规化
- 正规化就是将一个向量的长度正规到单位1。
- 如果距离尺度的衡量用
距离，公式如下：
- 如果距离尺度的衡量用
距离，公式如下：
- 正规化的用法如下：
- 直接用在特征上。
- 用在每个对象的各个特征的表示（特征矩阵的行）。
- 模型的参数。
>>>import os
>>>import pandas as pd
>>>import numpy as np
>>>from sklearn.preprocessing import Normalizer
>>>df = pd.read_csv(os.path.join(".", "data", "WA_Fn-UseC_-HR-Employee-Attrition.csv"))
>>>es = np.array([df.EnvironmentSatisfaction])
>>>l1 = Normalizer(norm="l1").fit_transform(es)
>>>print(l1)
[[0.00049988 0.00074981 0.00099975 ... 0.00049988 0.00099975 0.00049988]]
>>>l2 = Normalizer(norm="l2").fit_transform(es)
>>>print(l2)
[[0.01778568 0.02667853 0.03557137 ... 0.01778568 0.03557137 0.01778568]]
