pandas一个第三方开源库,安装方式
pip install pandas,安装成功后在窗口端输入以下命令如果没报错则说明安装成功。如果速度过慢可以使用豆瓣的镜像进行安装。
若是安装错误,可以删除重新安装卸载库的方式为pip uninstall pandas
用pandas对Excel表进行操作,pandas可以对很多类型数据进行操作如text、json、csv等一些其他格式数据进行操作,在这里我就使用Excel了。
一些注意事项:
1.在操作时避免数据操作失误,建议copy一份数据在进行操作:
import pandas as pd
db=pd.read_csv("work.csv")
df1=pd.DataFrame(db)
df2=df1.copy()
2.保存数据编码问题:
在保存数据格式为csv时,数据中有中文,为了防止乱码,建议使用encoding='gbk'进行保存
3.保存数据数据问题:
保存数据时若是直接进行保存则会出现panda自带的索引,想要去除,需要加index=False
一、读取数据
读取数据是第一步,读取json、text等一些其他数据同理,只需要替换csv
import pandas as pd
import re
import pprint#pprint这是一个是输出美观的库,可安可不安,安装法法与pandas一致
df=pd.read_csv(r"C:\Users\13923\Desktop\sina.csv",encoding="gbk")
db=pd.DataFrame(df)
pprint.pprint(db)
二、去除空值
对于空值我们常见的操作手段有
-1.直接去除(如:存在空值直接删除)
-2.进行填充(如:对于数值型数据填充平均值)
***直接去除:
db.dropna(axis=0,how="any")
#axis的值有两个0和1,0代表横轴、1代表纵轴,这很好记。how有两个值,any和all,意思分别是只要有一个空值,就会删掉整列或整行,而另一个则是要全都是空才能删掉整行或整列
***进行填充(在空值出填充你所给定的数据):
df.fillna(value='叒枅')#这是在空白处填充叒枅
df.fillna(df[column].mean(),inplace=True)#这是在空白填充平均值,适用于数值型数据
df.fillna(method='ffill') # 向上寻找最近的一个非空值,以该值来填充缺失的位置,全称forward fill,非常有用
df.fillna(method='bfill') # 向下寻找最近的一个非空值,以该值来填充确实的位置,全称backward fill
三、去除重复行
db.drop_duplicates()
#若括号中没有添加条件,则表示对行中所有的数据进行对比,若都一样才会删除
db.drop_duplicates("rank")
#我的数据特殊,rank出现重复,但是需要进行比较,所只能留存一个,故这时需要在括号中输入你说需要对比的条件。
四、保存数据
df.to_csv('wash.csv', encoding='gbk', index=False)