ML入门——EDA探索性数据分析（上）

本系列其他全部链接：
ML入门——EDA探索性数据分析（上）
ML入门——EDA探索性数据分析（中）(Seaborn)
ML入门——EDA探索性数据分析（下）(特征工程)

前言：在传统的统计分析方法中，通常都是先假定数据服从某种分布，然后运用这种模型进行预测，以概率论为基础，做各种的参数检验。

EDA“抛开”概率理论，从数据出发，强调数据可视化。

image

1.什么是EDA？

摘抄网上的一个中文解释：

是指对已有的数据（特别是调查或观察得来的原始数据）在尽量少的先验假定下进行探索，通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。特别是当我们面对大数据时代到来的时候，各种杂乱的“脏数据”，往往不知所措，不知道从哪里开始了解目前拿到手上的数据时候，探索性数据分析就非常有效。探索性数据分析是上世纪六十年代提出，其方法有美国统计学家John Tukey提出的。

2.基本步骤

2.1 导入不可或缺的工具包

用于可视化：Matplotlib、Seaborn
用于数据处理：Numpy、Pandas
用于统计分析：Sklearn、Statsmodels
用于忽略烦人的warning：warnings

import warnings
warnings.filterwarnings("ignore")

2.2 数据导入和观察

观察数据的基本情况：df.head()、df.info()
查看不同类型变量的基本统计信息
- 数值型变量：df[["Survived","Age", "SibSp", "Parch"]].describe()
- 分类型变量：df.describe(include=[np.object])
  
  [注意]：分类型变量的describe与数值型变量的describe不同

2.3 缺失值处理

一般真实数据中，变量都会存在着缺失值的情况。

从df.describe()反馈的信息中，count这一行数据反映了不同字段的数量；

image
从df.info()反馈的信息中，也可观测到各字段not-null的数据量和全部数据的总量。

image

[处理方法]一般有如下三种，其中2种比较推荐，1种慎用：

直接删除某一列字段

当该字段中大部分数据都为null的时候，对于后期数据贡献非常小，无法对缺失数据进行弥补。像Cabin有超过70%以上的缺失值。
填补缺失值

当字段中数据缺失量不大，且对于分析有重要贡献的，采用不同策略进行弥补。像Age字段缺失100多数据。
- 采用仅考虑当前字段的统计量进行填充（例如median、mean）
- 综合考虑其他因素进行分组，用分组后的统计量进行填充。例如，综合考虑Sex、Pclass等。
删除具有缺失值的行(慎用，不推荐)

因为删除缺失某一字段的整行，会对其他非缺失的变量所能提供的有用信息造成影响。

2.4 变量分析

从分析的变量数量来看，可以分为单变量分析和多变量分析。

2.4.1 单变量分析(待补充)

直方图

对称？
分散？
异常值？
有间隙？

箱线图

异常值？
对称？
比较几批数据的形状

正态性检验?

2.4.2 双变量分析

一般都会结合着任务目标（某一变量A），去粗略统计并分析其余变量对变量A的影响。例如，分析：哪些因素会决定生还概率。

2.4.2.1 因变量Y(离散)-自变量X(离散)

从计算数值的角度
- 方法一：使用经典的分组-聚合-计算。
  
  df[['Pclass', 'Survived']].groupby('Pclass').mean() .sort_values(by='Survived', ascending=False)
- 方法二：使用pd的pivot_table函数
  
  df.pivot_table(values='Survived', index='Pclass', aggfunc=np.mean)
  
  参数解释：
  - values: 聚合后被施加计算的值，这里我们施加mean函数
  - index: 分组用的变量
  - aggfunc: 定义施加的函数
从可视化的角度

一般双变量之间的关系分析，采用条形图来进行绘制。

sns.barplot(data=df, x='Pclass', y='Survived', ci=None)

2.4.2.2 因变量Y(离散)-自变量X(连续)

从计算数值的角度

将连续变量离散化是建模中的一种常用方法，即：将某一个变量所在区间分割为几个小区间，落在同一个区间的观测值用同一个符号表示。

[处理方法]：
- cut函数（等距）：将年龄的区间均匀分割为n分
- qcut函数（等频）：选取区间以至于每个区间里的观察值个数都是一样的
```
# 使用cut函数
# 可以看到每个区间的大小是固定的，大约是16岁
titanic_df['AgeBand'] = pd.cut(titanic_df['Age'], 5)
titanic_df.head()
```
  进而，可求出落在不同区间的人数、以及不同区间的因变量的统计量
  
  df.pivot_table(values='Survived',index='AgeBand', aggfunc='count')
  
  df.pivot_table(values='Survived',index='AgeBand', aggfunc=np.mean)
从可视化的角度
- 连续变量离散化之后，就等同于离散的X-离散的Y了，使用条形图可直观看出各不同区间的分布情况。
  
  sns.barplot(data=titanic_df, x='AgeBand', y='Survived', ci=None)
  
  image
- 连续变量不离散，那么直接使用直方图即可画出来。
  
  sns.FacetGrid(titanic_df, col='Survived').map(plt.hist, 'Age', bins=20, normed=True)
  
  image

2.4.3 多变量分析

2.4.3.1 因变量Y(离散)-自变量X1..Xn(离散)

从计算数值的角度

同样是通过分组-聚合的计算方式，只不过，这里index是复合的index。df.pivot_table(values='Survived', index=['Pclass', 'Sex'], aggfunc=np.mean)