利用pandas库统计一个数据集中每个字段下缺失值数目与所占比例

pandas对数组的操作是非常方便的,这里主要用到一个DataFrame.count函数,自动统计非缺失数据数量

下面是脚本代码

import pandas as pd

a=pd.read_csv(r'路径\数据集.csv',encoding="utf-8") #这里路径尽量用英文,我用中文做路径的时候各种报错

data=pd.DataFrame()

dd=[]
cc=[]
rr=[]

for i in a.columns:
    d=len(a)-a[i].count()
    r=(d/len(a))*100
    rate='%.2f%%' % r
    print('字段名为:',str(i).ljust(10),'缺失值数量:',str(d).ljust(4),'缺失数量占比:',rate) #这里print主要是为了在脚本中观察是否获取到想要的数据,方便调试。
    dd.append(i)
    cc.append(d)
    rr.append(rate)

data[u'字段名为']=dd
data[u'缺失值数量']=cc
data[u'缺失数量占比']=rr

outfile=r'输出路径\处理后数据.xls' 
data.to_excel(outfile) #同样输出路径尽量用英文,输出为xls格式
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容