导入各格式数据
csv/excel/json
import pandas
df = pandas.read_csv/excel/json('filepath')
xml
import xml.etree.ElementTree as ET
tree = ET.parse('**.xml')
root = tree.getroot()
for i in root.iter('key'):
....
创建dataframe
import pandas as pd
df = pd.DataFrame([[1,2,3],[2,3,4],[3,4,5]])
给dataframe增加行列名
df.columns = ['col1','col2','col3']
df.index = ['line1','line2','line3']
dataframe 筛选
1、筛选行
df.ix[0] #根据行数筛选
df.ix['line1'] #根据行名称筛选
df.ix[0:2] #根据行数切片
df.ix['line1':'line2'] #根据行名称切片
df.ix[['line1','line2']] #根据行名称选择多行
df.ix,df.loc,df.iloc
2、筛选列
df['col1'] #根据列名称筛选
df[['col1','col3']] #根据列名称筛选
df.col1 #根据列名称筛选
3、切片
df.ix[0:2,['col1','col2']] #根据行列名称切片
4、条件筛选
df[df['col1'] == 3] #根据条件筛选
df[(df['col1] ==3) &(df['col2'] == 4)] #多条件and查询
df[(df['col1] ==3) |(df['col2'] == 4)] #多条件or查询
dataframe 修改
1、新增列
df['col4'] = 5
2、删除列
del df['col4']
df = df.drop('col4',axis=1) #第二个参数axis，0：删除行，1：删除列，默认=0
3、新增行
df.loc['line4'] ={'col1':1,'col2':5,'col3':4,'col4':2}
df.append(pd.DataFrame([{'col1':1,'col2':5,'col3':4,'col4':2}]))
4、删除行
df = df.drop('line4')
dataframe 增加索引
df.set_index('col4',inplace = True)
处理缺失值
1、检查缺失值
df.isnull()
df['name'].isnull() #检查缺失值
df['name'].notnull() #检查非缺失值
df['name'].isnull().values.any()#指定列是否存在缺失值
df.isnull().any() #各个列是否存在缺失值
df.isnull().values.any() #整个dataframe事发后存在缺失值
df['name'].isnull().sum() #指定列有多少缺失值
df.isnull().sum().sum() #整个dataframe有多少缺失值
2、处理缺失值
2.1 舍弃缺失值
df.dropna() #舍弃含有任意缺失值的行
df.dropna(axis=1)#舍弃含有任意缺失值的列
df.dropna(how = 'all') #舍弃所有字段都有缺失值的行
df.dropna(thresh = 2) #舍弃超过两栏缺失值的行
2.2 补齐缺失值
df.fillna(0) # 用0填补
df['age'].fillna(df['age'].mean()) # 用平均值填补缺失值
df['age'].fillna(df.groupby('gender')['age'].transform('mean'),inplace=True) #根据各性别平均年龄填补缺失值
df.fillna(method='pad') #向后填补缺失值（pad或者ffill)
df.fillna(method='bfill',limit=2) #向前填补缺失值(bfill或者backfill)
df.interpolate() #内插法填补缺失值
数据重塑
df.info()查看dataframe基本信息
1、map函数
df['name'].map(lambda e:e.upper()) #map将函数应用于1列
2、apply函数
df['age'].apple(lambda e:e.max()-e.min(),axis=1) #将函数应用到行或列 axis=0为列，axis=1为行
3、applymap函数
df.applymap(lambda e:np.nan if e != '' else e) #将函数应用到整个dataframe
4、时间转换
df['日期']=pandas.to_datetime(df['日期'],format = '%Y年%m月%d日') #将dataframe中日期数据改成datetime格式
5、生成虚拟变量
pandas.get_dummies(df['性别']) #根据性别信息自动生成变量，比如男=0，女=1
df = pandas.concat([df,pandas.get_dummies(df['性别'])],axis=1) #concat合并dataframe，axis=1表示按列合并
6、生成透视表
df2=df.pivot_table(index='col1',columns='col2',values='col3',aggfunc='mean',fill_value = 0)
#生成以col1为行,col2为列，值是col3的平均值的数据透视表，fill_value填充dataframe中NAN值
df2.T #透视表转置
df3=df.pivot_table(index=['col1','col4'],columns='col2',values='col3',aggfunc='mean',fill_value = 0)
#生成以col1,col4的组合为行,col2为列，值是col3的平均值的数据透视表，fill_value填充dataframe中NAN值
df3.unstack() #生成长表格
7、应用正则
df['a','b'] = df['c'].str.extract('(.*?)@(.*?)',expand = False)
数据导出
df.to_excel('1.xlsx') #导出到excel，还可以导出到很多格式
