数据清洗
数据清洗的相关理解
数据清洗指对数据库中存在的错误、不完整、格式有误或者多余的数据进行更正、填补、剔除的操作行为；数
据清洗的本质目的是提升数据的质量，提供合适的数据用于的数据挖掘、展示。同时也会有加强各信息系统的
数据统一性
一、数据需要清理的问题
对各种问题数据进行对应方式的处理，使其得到统一、可用、易用的数据
常出现问题：
- 数据不完整（即值缺失）——例如人的属性中缺少婚否、年龄等
- 数据值不匹配（元数据为人工填入的情况下该问题较多）——例如在婚否的数据标签中填的是性别男
- 数据重复——不同来源的数据出现重复的情况
- 数据不合理——获取的数据与常识不符，例如年龄大于150岁
- 数据不一致——不同数据源的同一数据语意冲突
- 数据无用——目前业务上所不需要使用到的、无价值的数据
针对不同的问题我们可以通过不同的方式进行对应的思路：
数据不完整的解决方法
- 一般情况下缺失的值需要人工手动填入
- 通过其他数据进行推导来补全。例如使用省份证号推算出年龄、出生地、籍贯等。一般是通过平均值、最大值、最小值、概率统计等方式来补全缺失项
- 数据剔除。如果没有办法进行数据完整的补全，为了不影响整体数据的质量，需要将其剔除
数据值不匹配
- 人工手动进行处理
数据重复的解决方法
- 按主键去重。用sql或者excel去除重复记录即可
- 编写规则，按规则去重
数据不合理的解决方法
- 设定强制合法规则范围。凡是不在此范围内的，强制设为最大值或者将其剔除
- 设定警告规则。凡是不在此规则范围内的，进行警告，然后人工处理
- 离群值人工处理。使用分箱、聚类、回归等方式发现离群值
数据不一致的解决方法
- 设定强制合法规则范围。凡是不在此范围内的，强制设为最大值或者将其剔除
- 设定警告规则。凡是不在此规则范围内的，进行警告，然后人工处理
- 离群值人工处理。使用分箱、聚类、回归等方式发现离群值
