数据标准处理方法总结-preprocessing
- （标准化）StandardScaler
将数据按比例缩放，使之落入一个小的特定区间内，标准化后的数据可正可负；
按列减去其均值，并除以其方差(std)，结果是靠近0附件，方差为1，公式是:(x-mean(x))/std(x)；
1）使用sklearn.preprocessing.scale()函数，可以直接将数据进行标准化：
from sklearn import preprocessing
import numpy as np
x=np.array([[1, -1, 2],
[2, 0, 0],
[0, 1, -1]])
#使用scale规范化
x_sc = preprocessing.scale(x)
print(x)
print('--'*20)
print(x_sc)
#处理后数据的均值和方差
print('处理后的均值：',x_sc.mean(axis=0))
print('处理后的方差：', x_sc.std(axis=0))
【结果】
image.png
2）使用sklearn.preprocessing.StandardScaler可以保存训练集中的参数（均值、方差），直接使用其对象转换测试集数据。
from sklearn import preprocessing
import numpy as np
x=np.array([[1, -1, 2],
[2, 0, 0],
[0, 1, -1]])
x_sca = preprocessing.StandardScaler().fit(x)
print(x_sca)
#处理后的均值、方差
print('StandardScaler处理后的均值：', x_sca.mean_)
print('使用transform转换后的值：\n', x_sca.transform(x))
image.png
- 归一化（MinMaxScaler）
属性缩放到指定的区间（通常是 0-1）;可以通过preprocessing.MinMaxScaler来实现；公式是：最小最大规范化方法(x-min(x))/(max(x)-min(x))。
使用这种方法目的包括：1）对于方差非常小的属性可以增强其稳定性。2）维持稀疏矩阵中为0的条目。
import numpy as np
x_train=np.array([[1, -1, 2],
[2, 0, 0],
[0, 1, -1]])
min_max_scaler = preprocessing.MinMaxScaler()
x_train_minmax = min_max_scaler.fit_transform(x_train)
print('训练集：',x_train_minmax)
#将相同得缩放应用到测试集数据中
x_test = np.array([[-3, -1, 4]])
x_test_min_max = min_max_scaler.transform(x_test)
print('测试集：',x_test_min_max)
#缩放因子得属性
print('【缩放因子得属性】')
print('scale:',min_max_scaler.scale_)
print('*'*10)
print('min:',min_max_scaler.min_)
image.png
- 正则化
正则化是将每个样本缩放到单位范数（每个样本范数为1），如果后面要使用如二次型(点积)或者核方法计算两个样本之间的相似性，这个方法很受用。
Normalization主要思想是对每个样本计算其p-范数，然后对该样本中每个元素除以该范数，这样处理的结果是使得每个处理后的样本的p-范数 (|1-norm, |2norm)等于1。
p-范数的计算公式是：||X||p=(|x1|p+|x2|p+...+|xn|p)1/p
该方法主要应用于文本分类和聚类中。如，对于两个TF-IDF向量的|2-norm进行点积，就可以得到这两个向量的余弦相似性。
1）可以使用preprocessing.normalize()对指定数据进行转换：
x=np.array([[1, -1, 2],
[2, 0, 0],
[0, 1, -1]])
x_normalized = preprocessing.normalize(x, norm='l2')
x_normalized
image.png
2)可以使用preprocessing.Normalizer()实现对训练集和测试集的拟合和转换
normalizer = preprocessing.Normalizer().fit(x)
print(normalizer)
print('*'*10)
print(normalizer.transform(x))
print('*'*10)
print(normalizer.transform([[-1, 1, 0]]))
image.png
