（一）步骤流程：
#（一） 目标确定：根据已有数据预测未知旅客生死
# （二）数据准备：1 数据获取，载入训练集csv，测试集csv
# （三）数据清洗：补齐或抛弃缺失值，数据类型变化（字符串转数字）
# （四）数据重构：根据需要重新构造数据（重组数据，构建新特性）
#（五）数据分析：
1 描述性分析，画图，直观分析
2 探索性分析， 机器学习模型
# （六）成果输出：csv文件上传得到正确率和排名
学习数据挖掘（分析）的步骤差不多就这些，这是对于第二次练习数据挖掘项目的体会，难道不就是这些吗，当然除了加上你的思维判断。
（二）数据准备
（1）下载数据源
在kaggle上下载数据包：https://www.kaggle.com/c/titanic
image.png
把上面这三个csv文件都下载下来。
（2）查看数据信息
1）测试集数据
# 1 载入库
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
# 数据获取
train = pd.read_csv("train.csv")
test = pd.read_csv("test.csv")
# 显示头几行数据 # head()方法查看头部几行信息，如果打train则返回所有数据列表
train.head()
image.png
这里的头信息是英文的，我来解释一番：
PassengerId: 乘客ID
Survived: 是否生存，0代表遇难，1代表还活着
Pclass: 船舱等级：1Upper，2Middle，3Lower
Name: 姓名
Sex: 性别
Age: 年龄
SibSp: 兄弟姐妹及配偶个数
Parch:父母或子女个数
Ticket: 乘客的船票号
Fare: 乘客的船票价
Cabin: 乘客所在的仓位（位置）
Embarked:乘客登船口岸
image.png
2）数据概览
# 2 数据概览
# 2.0 查看数据的行数，列数
train.shape,test.shape
# 下图的（（891,12）） 代表train的条数有891条，12是代表有12个column（栏目）
image.png
# 2.1 查看数据的具体字段
train.info()
image.png
test.info()
image.png
`
（三）数据清洗
对缺失过多，无关值进行丢弃：
（1）保留部分数据栏目内容
# trains表对比上面，扔掉了Name，Ticket Cabin，Embarked
train2 = train.loc[:,['PassengerId','Survived','Pclass','Sex','Age','SibSp','Parch','Fare']]
# test2表对比上面，扔掉了Name，Ticket，Cabin，Embarked
test2 = test.loc[:,['PassengerId','Pclass','Sex','Age','SibSp','Parch','Fare']]
# .loc[:,:] 中括号里面逗号前面的表示行，逗号后面的表示列，这里的两个训练集代表，行都要，列只要选出来的列的内容
# 3.1 我们看一下trains2 跟test2的头信息
train2.head()
image.png
image.png
（2） 再看一下数据表信息
image.png
- 很明显这里的数据栏目就少了。
（3）train2 的年龄空值填充
- 年龄空值填充三部曲：1 取值（中位数）2 查找null的值 3 用中位数进行替换掉
# 3.3.1这里我们取一下age 的中位数
age_median = train2['Age'].median() # 中位数
age_median
# 3.3.1将train2的空值使用bool值来查看（这里只是查看，False代表有值）
train2['Age'].isnull()
# 3.3.1 将train2 age的空值使用中位数代替
train2.loc[train2['Age'].isnull(),'Age'] = age_median
train2.info()
image.png
image.png
（4）train2 Fare船票价格填充
# 3.3.2 test数据集 获取众数 填充船票价格 Fare
fare = test2['Fare'].mode()
fare
test2.loc[test2['Fare'].isnull(),'Fare'] = fare[0]
train2.info(),test2.info()
image.png
（5）将男女性别用int类型0,1进行代表
# 这里我们可以看到Sex的数据类型为object，男性or 女性，这里我们将性别转成int类型
train2['Sex']=train2['Sex'].map({'female':0,'male':1}).astype(int)
test2['Sex']=test2['Sex'].map({'female':0,'male':1}).astype(int)
# 查看一下train2的头信息
train2.head(),test2.head()
image.png
（四）数据重组
这里我们根据SibSp Parch构建家庭人口总数，是否单身
# 4.0 数据重构 根据SibSp Parch 构建两个新特征
# 新特征：家庭人口总数familysize，是否单身 isalone
# 4.1 家庭人口总数familysize
# 兄弟个数
train2.loc[:,'SibSp'] # 兄弟个数
train2.loc[:,'Parch'] # 父母子女个数
# 这里的逻辑不够严谨
train2['familysize']=train2.loc[:,'SibSp']+ train2.loc[:,'Parch']+1
test2['familysize']= test2.loc[:,'SibSp']+test2.loc[:,'Parch']+1
train2.info()
train2.head()
image.png
- 对单身数据稍微调整
# 是否单身 ,默认不是单身
train2['isalone'] = 0
train2.loc[train2['familysize']==1,'isalone'] =1
train2.head()
# test2['isalone'] = 0
# test2.loc[test2['familysize']==1,'isalone'] =1
# test.head()
image.png
2）数据重组后的最终数据
# 5.0 数据重构后的最终数据
# train3 = train2.loc[:,['PassengerId','Survived','Pclass','Sex','Age','Fare','familysize','isalone']]
# train3.head()
test3 = test2.loc[:,['PassengerId','Pclass','Sex','Age','Fare','familysize','isalone']]
test3.head()
image.png
到这里为止，我们将数据处理，数据重组，重构新数据表已经弄好了，接下来，我们使用可视化进行数据分析。
更多Python学习交流群，请查看个人主页：https://blog.csdn.net/xudailong_blog
