今天主要任务是:(1)数据加载及初步观察;(2)pandas基础;(3)探索性数据分析
(1)数据加载及初步观察
import numpy as np
import pandas as pd
import os
os.getcwd()
data= pd.read_csv('train.csv')
pd.read_csv()和pd.read_table()区别是两着行与行之间的分隔符不一样 在read_csv()中,定界符为,,在read_table()中,定界符为\ t。
更换DATaFrame的列索引和和行索引
data.columns=names
data=data.set_index('乘客ID')# 开始用该段代码data.index=data['乘客ID'],存在问题是ID作为行索引,但ID还在数据中
查看数据的基本情况
data.info()
data.describe()
data.head()#读前5行,data.head(n=10)
data.tail()#读最后5行,data.tail(n=10)
data.isnull().sum()#查看所有列中无效值
Pandas的两种数据类型,Series和DataFrame
Series是一维数组,有列索引
DataFrame多维数组,对应多个索引
data['Cabin'].value_counts()# 这个函数很有用,表示该列中不同类别的个数
Pandas操作
del test_1['a']
test_1.drop(['a',‘b’],axis=1)#敲代码是把axis=1没有输入,代码有问题
data.drop(['PassengerId','Name','Age','Ticket'],axis=1).head()#data本身没有变化,只是显示中没有上述几项
midage= data[(data['Age']>10) & (data['Age']<50)]# 两个条件有小括号
midage.loc[[100],['Pclass','Sex']]#midage = midage.reset_index(drop=True)如果不进行重定位,取出来的值是错误的
midage.loc[[100,105,108],['Pclass','Name','Sex']]
midage.iloc[[100,105,108],[2,3,4]]#loc 和iloc 区别
frame.sort_values(by=['a','c'],ascending=False)#对两列进行排序的原理还没有弄清?
对分别看看泰坦尼克号数据集中 票价、父母子女 这列数据的基本统计数据
text[年龄'].describe()# 可以显示某列数据的各种统计数据
count 714.000000
mean 29.699118
std 14.526497
min 0.420000
25% 20.125000
50% 28.000000
75% 38.000000
max 80.000000
Name: 年龄, dtype: float64
总的心得:(1)必须对所处理的数据进行较为详细的分析,今天的任务只给了一个简单的引导,后续还应该对DATaFrame的各种函数进行熟练操作;(2)要有数据敏感性,并不是所有的数据都是对确定目标有意义的,比如在本次任务中,助教就给出了票价和生存之间可能存在强相关