一些数据挖掘算法，要求数据是分类属性形式的。所以常常需要将连续属性变换成分类属性，即连续属性离散化。
常用的离散化方法
- 等宽法
将属性的值域分成具有相同宽度的区间，区间的个数由数据本身的特点决定，或者由用户指定，类似于制作频率分布表。 - 等频法
将相同数量的记录放进每个区间，每个区间数据值个数相同 - 基于聚类分析的方法
一维聚类的方法包括两个步骤，首先将连续属性的值用聚类(如K-Means算法) 进行聚类，然后再将聚类得到的簇进行处理，合并到一个簇的连续属性值并做统一标记。聚类分析的离散化方法也需要用户指定簇的个数，从而决定产生的区间数。
import numpy as pd
import pandas as pd
datafile = './data/discretization_data.xls'
data = pd.read_excel(datafile) # 读取数据
data = data[u'肝气郁结证型系数'].copy() # 复制此对象的索引和数据
k = 4
# 等宽离散化
d1 = pd.cut(data, k, labels=range(k)) # 等宽离散化，各个类比依次命名为: 0, 1, 2, 3
pd.value_counts(d1)
# 等频率离散化
w = [1.0 * i/k for i in range(k+1)]
w = data.describe(percentiles=w)[4:4+k+1]
w[0] = w[0] * (1-1e-10)
d2 = pd.cut(data, w, labels=range(k))
from sklearn.cluster import KMeans # 引入KMeans
kmodel = KMeans(n_clusters = k, n_jobs = 4) # 建立模型，n_jobs是并行数，一般等于CPU数
kmodel.fit(data.values.reshape(len(data), 1)) # 训练模型
c = pd.DataFrame(kmodel.cluster_centers_).sort_values(0) # 输出聚类中心，并且排序（默认是随机序的）
w = pd.DataFrame.rolling(c, 2).mean().iloc[1:] # 相邻两项求中心，作为边界点
w = [0] + list(w[0]) + [data.max()] # 把首末边界点加上
d3 = pd.cut(data, w, labels=range(k))
# 自定义作图函数来显示聚类结果
def cluster_plot(d, k):
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei'] # 用于正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False # 用来正常显示负号
plt.figure(figsize=(16, 8)) # 设置图像显示大小
for j in range(0, k):
plt.plot(data[d==j], [j for i in d[d==j]], 'o')
plt.ylim(-0.5, k-0.5)
return plt
cluster_plot(d1, k).show()
cluster_plot(d2, k).show()
cluster_plot(d3, k).show()
image.png
