1 数据质量分析
数据质量分析的主要任务是检查原始数据中是否存在脏数据。
脏数据包括如下内容：
- 缺失值
缺失值的处理分为删除存在缺失值的记录、对可能值进行插值处理和不处理 - 异常值
- 简单统计分析：描述性统计，获取最大最小值等
- 3
原则：如果数据服从正态分布，在3
|>3
0.003
- 箱型图分析：异常值被定义为小于QL - 1.5IQR或大于QU + 1.5IQR (QL：下四分位数QU：上四分位数)
- 不一致的值
- 重复数据及含有特殊符号（如#、￥、*）的数据`
-
箱型图分析检测异常值
import pandas as pd catering_sale = "data/catering_sale.xls" data = pd.read_excel(catering_sale,index_col="日期") import matplotlib.pyplot as plt plt.rcParams['font.sans-serif'] = ["SimHei"] # 正常显示中文标签 plt.rcParams['axes.unicode_minus'] = False # 正常显示负号 plt.figure() # 画箱型图，直接使用DataFrame方法 p = data.boxplot(return_type='dict') x = p['fliers'][0].get_xdata() # fliers 为异常值标签 y = p['fliers'][0].get_ydata() # 排序（由小到大，升序） y.sort() for i in range(len(x)): if i > 0: plt.annotate(y[i],xy = (x[i],y[i]),xytext = (x[i]+0.05 - 0.8/(y[i] - y[i-1]),y[i])) else: plt.annotate(y[i],xy = (x[i],y[i]),xytext = (x[i]+0.08,y[i])) plt.show()
2分布分析
分布分析：研究数据的分布特征和分布类型，通过定量数据、定性数据区分基本统计量
- 定量数据：求极差、组距、组数、分点、列出频率分布表，通过绘制散点图、频率直方图等方式理解数据并为下一步深入探索数据提供依据
- 定性数据：定性的数据常常使用变量来分组，通过绘制饼图、条形直方图等方式展示数据分布情况
2.1 实例分析
# 数据读取
import pandas as pd
import matplotlib.pyplot as plt
catering_sale = "data/catering_sale.xls"
data = pd.read_excel(catering_sale,index_col="日期")
data.head()
# 求极差
def d_range(df,*cols):
krange = []
for col in cols:
crange = df[col].max() - df[col].min()
krange.append(crange)
return krange
dr = d_range(data,"销量")
print("销量极差为 %f" % dr[0])
# 频率分布
data["销量"].hist(bins=5)
plt.show()
# 频率分布情况，划分区间
gcut = pd.cut(data["销量"],6,right = False)
gcut_count = gcut.value_counts(sort = False)
data["销量分组区间"] = gcut.values
data.head()
# 区间出现频率
r_zj = pd.DataFrame(gcut_count)
r_zj.rename(columns={gcut_count.name:'频数'},inplace=True)
r_zj['频率'] = r_zj['频数']/r_zj["频数"].sum()
r_zj["累计频率"] = r_zj['频率'].cumsum()
r_zj['频率%'] = r_zj['频率'].apply(lambda x:"%.2f" % (x*100))
r_zj['累计频率%'] = r_zj['累计频率'].apply(lambda x:"%.2f" % (x*100))
r_zj.style.bar(subset=['频率','累计频率'])
# 直方图
r_zj["频率"].plot(kind = "bar",
figsize =(9,5),
grid = True,
color = 'k',
alpha = 0.6,
)
plt.xticks(rotation = 60)
# 增加标签
for i,j,k in zip(range(len(r_zj)),r_zj["频率"],r_zj["频数"]):
plt.text(i-0.1,j+0.1,'%i' % k, color = 'k')
