数据清洗和准备是获取样本后进行数据分析、数据挖掘的第一步。过程比较繁琐，耗时长，但非常重要。以下是个人学习和实操过程中的笔记总结，希望能对读者带来一定帮助。
1.缺失值处理 isnull( ) 、fillna( ) 、dropna( )
（1）查看
缺失：
#查看数据集缺失，返回每列的缺失个数 (df.isnull()).sum()
#查看某字段有缺失的行 df[df.score.isnull()]
#查看某字段每行的缺失情况：
返回T/F：df.score.isnull()
返回0/1：df.score.isnull().apply(int)
#缺失占比，返回每列的缺失占比：df.apply(lambda col:sum(col.isnull())/col.size)
（2）填补 fillna
以指定值填补：
#填补一列：df.a.fillna(df.a.mean/median())
#填补多列：
fill_cols=['a','b','c']
fill_values={col:df[col].mode()[0] for col in fill_cols}
df=df.fillna(fill_values)
通过字典调用fillna：df.fillna({'a': 0.55, 'b': 0.66} , inplace=True)
（3）删除 dropna
df=df.dropna(subset=['a','b','c'],how='any'/'all',inplace=True)
*df.dropna(thresh=2) 这一行除去NA值，剩余数值的数量大于等于2，便显示这一行。
2.重复值处理 duplicated( )、drop_duplicates( )
（1）查看
#查看数据集重复，返回重复的行数
(df.duplicated()).sum()
(df.duplicated(subset=['a','b','c'])).sum()
#查看指定字段有的重复的行
df[df.a.duplicated()]
df[df.duplicated(subset=['a','b','c'])] #isnull( )没有此用法
#查看指定字段的重复情况，
返回T/F：df.a.duplicated()
返回0/1：df.a.duplicated().astype(int)
（2）去重
df.drop_duplicates()
df.drop_duplicates(subset=None, keep='first', inplace=False)
keep : {‘first’, ‘last’, False}, default first’删除重复项并保留第一次出现的项(duplicated和drop_duplicates默认保留的是第一个出现的值组合)
#统计不重复数：df.drop_duplicates('a').a.count()
3.替换与赋值 replace、np.where、map
（1）替换
#df.a.replace(-999,np.nan)
df.replace({'a':{-999:np.nan},'name':{'bob':np.nan}})
df.replace([-999, -1000], [np.nan, 0])
df.replace({-999:np.nan,-1000: 0})
Customer2.replace('\r','').replace('\n','').replace('\t','') \r:回车 \n:换行 \t：横向制表符
data['资金量'] = np.where(data['资金量'] <data['金额'],np.nan, data['资金量'])
（2）条件赋值：
# df.loc[df.group==1,'class_n']='class1'
df.loc[df.group==2,'class_n']='class2'
#改列：f 行的age改为1.5： df.loc['f','age']=5
#改行： 插入新行 ：df.loc['k']=['cow',3,2,'yes']
（3）Series map方法：
法一：
data=pd.DataFrame({'k1':['one','two']*3+['two'],'k2':[1,1,2,3,5,4,4]})
data['k1']=data['k1'].str.upper()
duizhao={'ONE':'LILY','TWO':'TOM'} #映射
data['duizhao']=data.k1.map(duizhao)
data
法二：
data['duizhao']=data['k1'].map(lambda x:duizhao[x.upper()])
data['duizhao']=data['k1'].map(lambda x:duizhao[x])
