处理缺失数据
1.png
2.png
3.png
4.png
滤除缺失数据
11.png
12.png
13.png
14.png
15.png
16.png
17.png
填充缺失数据
21.png
22.png
23.png
24-1.png
24-2.png
如果全为NA值则插值方法不起作用。
25.png
26-1.png
26-2.png
源码：
# coding: utf-8
# In[1]:
import numpy as np
from pandas import Series,DataFrame
import pandas as pd
string_data = Series(['Guangdong','Shandong',np.nan,'Henan'])
print(string_data)
# In[2]:
# isnull()函数使用布尔值表示缺失值/NA
na_string = string_data.isnull()
print(na_string)
# In[3]:
# python内置的None值也会被当做NA值处理：
string_data[0] = None
na_string2 = string_data.isnull()
print(na_string2)
# In[4]:
# 使用dropna返回一个仅含非空数据和索引值的Series
from numpy import nan as NA
data = Series([1,NA,2.5,NA,5])
dataFlo = data.dropna()
print(dataFlo)
# In[5]:
# 使用布尔滤除NA值
boolFlo = data[data.notnull()]
print(boolFlo)
# In[6]:
# DataFrame对象的dropna用法
dataFr = DataFrame([[1,3,5.5],[3,NA,NA],
[NA,NA,NA],[NA,2.5,7]])
print(dataFr)
# In[7]:
cleaned = dataFr.dropna()
print(cleaned)
# In[8]:
# 在dropna中传入how='all'只丢弃全为NA值的行：
howdata = dataFr.dropna(how='all')
print(howdata)
# In[9]:
dataFr[4] = NA
print(dataFr)
# In[10]:
# 丢弃全为NA值的列
data_col = dataFr.dropna(axis=1,how='all')
print(data_col)
# In[11]:
# 创建一个7行3列呈正态分布的DataFrame对象
from numpy.random import randn
df = DataFrame(np.random.randn(7,3))
print(df)
# In[12]:
df.ix[:4,1] = NA
print(df)
# In[13]:
df.ix[:2,2] = NA
print(df)
# In[14]:
df1 = df.dropna(thresh=1)
print(df1)
# In[15]:
df2 = df.dropna(thresh=2)
print(df2)
# In[16]:
df3 = df.dropna(thresh=3)
print(df3)
# In[17]:
print(df)
# In[18]:
# 调用fillna函数将缺失值替换为常数值
fil = df.fillna(0)
print(fil)
# In[19]:
# 通过字典调用fillna
filDic = df.fillna({1:0.5, 3:-1})
print(filDic)
# In[20]:
# 总是返回被填充对象的引用
_ = df.fillna(9999,inplace=True)
print(df)
# In[21]:
datafillna = DataFrame(np.random.randn(7,4))
datafillna.ix[4:,1] = NA; datafillna.ix[2:,2] = NA;
datafillna.ix[:,3] = NA
print(datafillna)
# In[22]:
# 使用插值方法填充缺失值
dfAr = datafillna.fillna(method='ffill')
print(dfAr)
# In[23]:
# 只填充2行
dfAr2 = datafillna.fillna(method='ffill',limit=2)
print(dfAr2)
# In[24]:
daSe = Series([1,NA,5.2,NA,7])
mean_daSe = daSe.fillna(daSe.mean())
print(mean_daSe)
