-
数据写入
我们可以将数据写入到文件中进行永久性的保存，支持的文件格式有HTML、CSV、JSON、Excel。
csv是最为常见的以纯文本文件存储数据文件的格式，它的优点是通用性很强，不受操作系统以及具体的软件的限制。我们以写入csv为例，看一下pandas是如何是将数据写入csv文件中。
from pandas import Series,DataFrame
# 使用字典创建
index_list = ['001','002','003','004','005','006','007','008','009','010']
name_list = ['李白','王昭君','诸葛亮','狄仁杰','孙尚香','妲己','周瑜','张飞','王昭君','大乔']
age_list = [25,28,27,25,30,29,25,32,28,26]
salary_list = ['10k','12.5k','20k','14k','12k','17k','18k','21k','22k','21.5k']
marital_list = ['NO','NO','YES','YES','NO','NO','NO','YES','NO','YES']
dic={
'姓名': Series(data=name_list,index=index_list),
'年龄': Series(data=age_list,index=index_list),
'薪资': Series(data=salary_list,index=index_list),
'婚姻状况': Series(data=marital_list,index=index_list)
}
df=DataFrame(dic)
# 写入csv，path_or_buf为写入文本文件
df.to_csv(path_or_buf='./People_Information.csv', encoding='utf_8_sig')
print('end')
在上面的代码里，我们创建了一个DataFrame，接着通过to_csv()方法将DataFrame保存为csv文件。从结果中可以发现，to_csv()保存数据时，df的行索引作为一列被输出到csv文件中。
如何在保存csv文件的时候，不存储DataFrame的行索引信息呢，我们看下面的解决方法。
df.to_csv(path_or_buf='./People_Information.csv',index=False,encoding='utf_8_sig')
在to_csv方法中将参数index设置为False就可以不存储DataFrame的行索引信息。
to_csv()方法生成csv文件时，打开文件时都是乱码，encoding参数设置“utf_8_sig”后乱码就会消失。
-
数据读取
- csv数据读取
import pandas as pd
df = pd.read_csv('/data/People_Information.csv')
print(df)
print(df.shape)
调用read_csv()方法并传入文件的路径，就可以将数据读取出来并且是DataFrame类型。read_csv()默认会将文件中的第一行作为数据的列索引。
当csv数据的第一行是一条脏数据，不符合我们要求，可以利用read_csv()中的header参数进行选择哪一行作为列索引。
import pandas as pd
people = pd.read_csv('/data/People.csv',header = 0)
print(people.columns)
import pandas as pd
people = pd.read_csv('/data/People.csv',header = 1)
print(people.head())
read_csv()的header参数默认是0，即取第一行的值；可以根据具体的要求设置header的值来确定列索引。如果都不满足的你的要求，可以将header设置为None，列索引值会使用默认的1、2、3、4，之后在自行设置。当指定了header的值，读出来的数据就是从该行开始向下切片，该行以上的数据会被忽略。
- Excel文件读取
Excel文件的读取和csv的读取方式相似，read_csv()读取csv文件，read_excel()读取Excel文件。
import pandas as pd
sheet = pd.read_excel('/data/sheet.xlsx')
print(sheet.head())
to_csv()会比to_excel()少一个sheet_name的参数，这个参数就是可以指定表的名字。
import pandas as pd
sheet1 = pd.read_excel('/data/sheet.xlsx',sheet_name='sheet1')
print(sheet1.head())
sheet2 = pd.read_excel('/data/sheet.xlsx',sheet_name='sheet2')
print(sheet2.head())
在上面的代码里，我们引入了带有两个表的sheet.xlsx的Excel文件，两个表名分别为'sheet1'，'sheet2'，然后我们通过指定sheet_name的值，获取不同表中的数据。
-
删除数据
如果文件的单元格中没有值时，在使用pandas读取后就会用NaN表示，也就是我们常说的空值。在NumPy模块中提供了nan的值，如果你想要创建一个空值，可以使用下方代码：
from numpy import nan as NaN
注意，NaN其本身是一种float类型数据。但是，当NaN参与到数据计算中，最终的结果却永远都是NaN。所以，在我们不知道的情况下会影响我们的计算结果。
在DataFrame类型数据中，一般我们会将存在NaN的数据使用dropna()方法全部删掉：
df1 = df.dropna()
dropna()是删除空值数据的方法，默认将只要含有NaN的整行数据删掉，如果想要删除整行都是空值的数据需要添加how='all'参数。如果想要对列做删除操作，需要添加axis参数，axis=1表示列，axis=0表示行。我们也可以使用thresh参数筛选想要删除的数据，thresh=n保留至少有n个非NaN数据的行。
from numpy import nan as NaN
import pandas as pd
df = pd.read_excel('/data/rate.xlsx')
print(df.shape)
df1=df.dropna(how='all')
print(df1.shape)
df2=df.dropna(axis=1)
print(df2.shape)
df3=df.dropna(axis=0)
print(df3.shape)
df4=df.dropna(thresh=3)
print(df4.shape)
只是单纯的想删除数据，我们可以使用df.drop()方法：
DataFrame.drop(labels=None,axis=0, index=None, columns=None, inplace=False)
labels ：就是要删除的行列的名字，用列表给定。
index： 直接指定要删除的行。
columns： 直接指定要删除的列。
inplace=False：默认该删除操作不改变原数据，而是返回一个执行删除操作后的新dataframe。
inplace=True：则会直接在原数据上进行删除操作，删除后无法返回。
根据参数我们可以总结出，删除行列有两种方式：
1.labels=None,axis=0 的组合
2.index或columns直接指定要删除的行或列
import pandas as pd
dic={
"name":['zhangsan','lisi','wangwu'],
"age":[23,32,24],
"weight":[60,65,55]
}
df=pd.DataFrame(data=dic)
print(df)
df1=df.drop(labels=[0,1],axis=0)# 删除第0行和第1行
print(df1)
df2=df.drop(columns='age',index=[0,1])
print(df2)
df3=df.drop(axis=1,columns='weight')# 删除列名为weight的列
print(df3)
-
空值的处理
对于空值我们可以将整条数据删除，也可以使用fillna()方法对空值进行填充。
df.fillna(value=None, method=None, axis=None, inplace=False, limit=None, downcast=None, **kwargs)
注意：method参数不能与value参数同时出现。
import pandas as pd
df = pd.read_excel('/data/rate.xlsx')
# 用常数填充fillna
# print(df.fillna(0))
# 用一列的平均值填充
# print(df.fillna(df.mean()))
# 用前面的值来填充ffill
# print(df.fillna(method='ffill',axis=0))
-
重复数据的处理
重复数据的存在有时不仅会降低分析的准确度，也会降低分析的效率。所以我们在整理数据的时候应该将重复的数据删除掉。利用duplicated()函数可以返回每一行判断是否重复的结果（重复则为True)。
import pandas as pd
df = pd.read_excel('/data/rate.xlsx')
# 返回重复的结果
print(df.duplicated())
返回的是一个值为Bool类型的Series，如果当前行所有列的数据与前面的数据是重复的就返回True；反之，则返回False。可以使用drop_duplicates()将重复的数据行进行删除。
df.drop_duplicates()
我们也可以只可以通过判断某一列的重复数据，然后进行删除。
df.drop_duplicates(['CountryName'],inplace=False)
其中['CountryName']表示对比CountryName例数据是否有重复，inplace用来控制是否直接对原始数据进行修改。
