Python主要数据预处理函数
要介绍的Python中的插值、数据归一化、主成分分析等与数据预处理相关的函数。
- Python主要数据预处理函数
| 函数名 | 函数功能 | 所属扩展库 |
|---|---|---|
| interpolate | 一维、高维数据插值 | Scipy |
| unique | 去除数据中的重复元素，得到单值元素列表，它是对象的方法名 | Pandas/Numpy |
| isnull | 判断是否空值 | Pandas |
| notnull | 判断是否非空值 | Pandas |
| PCA | 对指标变量矩阵进行主成分分析 | Scikit-Leam |
| random | 生成随机矩阵 | Numpy |
(1) interpolate
- 1)功能：interpolate是Scipy 的一个子库，包含了大量的插值函数，如拉格朗日插值、样条插值、高维插值等。使用前需要用 from scipy.interpolate import * 引入相应的插值函数，读者应该根据需要到官网查找对应的函数名。
- 2)使用格式：f = scipy.interpolate.lagrange(x, y)。这里仅仅展示了一维数据的拉格朗日插值的命令，其中 x,y 为对应的自变量和因变量数据。插值完成后，可以通过 f(a)计算新的插值结果。类似的还有样条插值、多维数据插值等，此处不一一展示。
(2) unique
- 1)功能：去除数据中的重复元素，得到单值元素列表。它既是 Numpy 库的一个函数(np.unique()),也是 Series 对象的一个方法。
- 2)使用格式：
□ np.unique(D), D 是一维数据，可以是 list、array、Series；
□ D.unique(), D 是 Pandas 的 Series 对象。 - 3)实例：求向量 A 中的单值元素，并返回相关索引。
import pandas as pd
import numpy as np
D=pd.Series([1,1,2,3,5])
print(D.unique())
print(np.unique(D))
[1 2 3 5]
[1 2 3 5]
(3)isnull/ notnull
- 1)功能：判断每个元素是否空值/非空值。
- 2)使用格式：D.isnull()/D.notnull()。这里的D要求是Series对象，返回一个布尔Serieso可以通过D[D.isnull()]或 D[D.notnull()]找出D中的空值/非空值。
(4) random
- 1)功能：random是Numpy的一个子库(Python本身也自带了random,但Numpy的更加强大)，可以用该库下的各种函数生成服从特定分布的随机矩阵，抽样时可使用。
- 2)使用格式：
□ np.random.rand(k,m,n,...)生成一个随机矩阵，其元素均匀分布在区间(0,1)上；
□ np.random.randn(k,m,n,...)生成一个
(5)PCA
- 1)功能：对指标变量矩阵进行主成分分析。使用前需要用 from skleam.decomposition import
PCA引入该函数。 - 2)使用格式：model=PCA()。注意，Scikit-Leam下的PCA是一个建模式的对象，也就是说，一般的流程是建模，然后是训练 model.fit(D), D 为要进行主成分分析的数据矩阵，训练结束后获取模型的参数，如.components_获取特征向量，以及.explained_variance_ratio_ 获取各个属性的贡献率等。
- 3)实例：使用PCA()对一个 10x4 维的随机矩阵进行主成分分析。
from sklearn.decomposition import PCA
D = np. random. rand (10,4)
pca = PCA()
pca. fit (D)
print("模型的各个特征向量:")
print(pca.components_) #返回模型的各个特征向量
print("各个成分各自的方差百分比:")
print(pca.explained_variance_ratio_) #返回各个成分各自的方差百分比
小结
数据预处理的4个主要任务：数据清洗、数据集成、数据变换和数据规约。
- 处理缺失值的方法分为3类：删除记录、数据插补和不处理，处理异常值的方法有删除含有异常值的记录、不处理、平均值修正和视为缺失值；数据集成是合并多个数据源中的数据，并存放到一个数据存储的过程，对该部分的介绍从实体识别问题和冗余属性两个方面进行；
- 数据变换介绍了如何从不同的应用角度对已有属性进行函数变换；
- 数据规约从属性（纵向）规约和数值（横向）规约两个方面介绍了如何对数据进行规约，使挖掘的性能和效率得到很大的提高。
通过对原始数据进行相应的处理，将为后续挖掘建模提供良好的数据基础。
