样本数据集的数量和质量是否满足模型构建要求？
是否出现没设想过得数据状态？
其中是否有明显的规律和趋势？
各因素中有什么样的关联性？
数据探索：对样本数据集的结果和规律进行分析
数据质量分析
主要任务：检查原始数据中是否存在脏数据
脏数据包括：缺失值、异常值、不一致的值、重复值
缺失值分析
缺失包括：记录缺失、某个字段缺失
缺失产生原因
- 有些信息无法获取
- 有些信息被遗漏
- 属性值不存在
缺失值的影响
- 丢失有用信息
- 不确定性更加显著，蕴含规律更难把握
- 空值会使建模过程陷入混乱，导致不可靠的输出
缺失值分析
统计分析，得到含有缺失值的属性个数、缺失数、缺失率......
异常值分析
检验数据是否不合理
异常值也称离群点
- 简单的统计量分析
先对变量做描述性统计（例如最大值最小值） -
原则
如果数据服从正态分布，异常值被定义为一组测定之中与平均值偏差超过3倍标准差的值。这些值的出现概率<=0.003。
如果数据不服从正态分布，则用远离平均值的多少倍标准差来描述 -
箱型图分析
箱型图分析.png
一致性分析
数据特性分析
分布分析
对于定量数据，可观察其频率分布；
对于定性数据，了绘制饼图、条形图直观的现实分布情况。
定量数据的分布分析
- 求极差
- 决定组距与组数
- 决定分店
- 列出频率分布表
- 绘制评率分布直方图
选择组数和组宽的原则：
- 各组相互排斥
- 包含所有数据
- 组宽最好相等
定性数据的分布分析
对比分析
把两个相互联系的指标进行比较
形式：
- 绝对数比较
利用绝对数进行对比，从而寻找差异； - 相对数比较
由两个有联系的指标对比计算，反应客观现象之间数量的联系程度的综合指标，其数值表现为相对数。
相对数可以分为以下几种：- 结构相对数：部分数值 / 全部数值
- 比例相对数： 不同数值进行对比
- 比较相对数：同一时期两个性质相同的指标数值进行对比，表面总体内各部分的比例关系
- 强度相对数：将两个性质不同但是有一定联系的总量指标进行对比，说明现象的强度、密度和普遍程度。例如“元/人”
- 计划完成程度相对数： 完成数 / 计划数
- 动态相对数：同一现象在不同时期的指标数值进行对比，例如增长速度。
统计量分析
用统计指标对定量数据进行统计描述，常从集中趋势和离中趋势两个方面分析。
集中趋势度量
- 均值
- 中位数
- 众数
离中趋势度量
- 极差
- 标准差
- 变异系数
度量标准差相对于均值的离中趋势
- 四分位数间距
周期性分析
贡献度分析（帕累托分析）
相关性分析
- 绘制散点图
- 绘制散点矩阵
- 计算相关系数
- Pearson相关系数：一般用于分析两个现需性变量之间的关系，要求连续变量的取值服从正态分布。
- Speraman秩相关系数：数据不必服从正态分布，只要两个变量有严格单调的函数关系，则相关。
注：上述两种相关系数都要对其进行假设检验，使用t检验方法检验其显著性水平以确定其相关程度。 - 判定系数：相关系数的平方，用了衡量回归方程对y的劫持程度。
——>第四章
