数据分析项目练习笔记（2）—— 数据清洗及特征值处理

使用工具：Jupyter
使用库：Pandas，NumPy
参考资料：
https://pandas.pydata.org/docs/user_guide/10min.html
https://www.osgeo.cn/numpy/user/absolute_beginners.html

1、观察缺失值分布

df.info()
df.isnull().sum()
df[["Age","Cabin","Embarked"]].head()

注意点：

• np.nan()可以产生空值，但np.nan是一个float类型，因此不能用于检查原始数据是否为空，但若生成空值，必须用两边比较判断是否为nan
• np.isnan()和pd.isnull()使用场景类似，但前者多用于检验值，后者用于检验整体

2、缺失值处理
主要思路：

• 删除
• 常量填充：0、均值、众数、中位数等
• 插值填充：前后值均值、前值 or 后值
• knn/随机森林(这两项都是采用预测分类的思路，因此算为一类)
• 针对连续数的缺失值，可以根据高斯分布或范围推定预测数值（数据课补充内容）
  缺失值处理具体方式（填0为例）：

• df_fillna1 = df.fillna({"Age": 0})
• df.loc[df["Age"].isnull(), ["Age"]] = 0.0
  df_fillna2 = df
• df_fillna3 = df.fillna(0.0)
• dfc = df.dropna(axis=1,how='any', thresh=400,subset=None,inplace=False)

DataFrame.fillna(value=常量数值, method=填充方式, axis=遵循维度, inplace=False, limit=可接受的最多连续空值数, downcast=修正数值类型)
DataFrame.dropna(axis=象限, how='any-存在空值就删除，all-全是空值才删除', thresh=至少多少非空数值, subset=关联删除, inplace=False)

3、重复值处理

查看重复值
df[df.duplicated()]
删除重复值
df = df.drop_duplicates()

4、特征处理——连续值处理

分箱
df["Age_box"] = pd.cut(df["Age"], 5, labels = list("12345"))
from matplotlib import pyplot as plt
plt.hist(df["Age"])
df["Age_box"] = pd.cut(df["Age"], [0, 5, 15, 30, 50, 80], right = False)
df["Age_box"] = pd.qcut(df["Age"], [0, 0.1, 0.3, 0.5, 0.7, 0.9], duplicates = "drop")

5、非数值型转换为数值型（便于分析）

查看数值
df['Sex'].value_counts()
df['Sex'].unique()

替换数值

• df["Sex"].replace(['male', 'female'], [1,2], inplace = True)
• df['Sex_num'] = df['Sex'].map({'male': 1, 'female': 2})
• from sklearn.preprocessing import LabelEncoder
  df["Cabin"] = LabelEncoder().fit_transform(df["Cabin"])
• for column in ['Sex','Cabin','Embarked']:
  x = pd.get_dummies(df[column], prefix = column)
  df = pd.concat([df, x], axis = 1)
  df.head()

6、文本拆分

拆分出头衔部分
df["Title"] = df.Name.str.extract('([A-Za-z]+).')