数据处理之前需要对数据进行清理工作，包含：
- 缺失值的去除
drop - 缺失值的填充
fillna - 删除重复数据
duplicated()和drop_duplicates() - 数据转换
- 索引重命名
- 数据离散化或面元化
缺失值的去除
pandas处理缺失值
- pandas默认的处理对象不包括缺失值
- NaN表示缺失数据；None值也可以作为NA
- isnull()函数查看哪些数据是缺失值
- dropna更实用，返回的是一个仅非空数据和索引值的S
image.png
string_data = pd.Series(['aardvark', 'artichoke', np.nan, 'avocado'])
string_data
# 结果
0 aardvark
1 artichoke
2 NaN
3 avocado
dtype: object
string_data[0] = None
string_data.isnull()
# 结果
0 True
1 False
2 True
3 False
dtype: bool
drop的使用
对于
S：返回的是非空数据个索引值的Series-
对于
DF：默认丢弃含有任何缺失值的行和列
image.png 处理Series
# 处理S
from numpy import nan as NA
data = pd.Series([1, NA, 3.5, NA, 7])
data.dropna()
# 上面等价于：本质上是将notnull函数的布尔值结果作为索引
# 布尔索引
data[data.notnull()]
image.png
- 处理DataFrame数据
# 处理DF数据
# 只要有缺失值，删除整个行数据
data = pd.DataFrame([[1., 6.5, 3.], [1., NA, NA],
[NA, NA, NA], [NA, 6.5, 3.]])
cleaned_data = data.dropna()
cleaned_data
image.png
注意：原数据data不变
# 参数how="all"：丢弃全部为NA的行
data.dropna(how="all")
image.png
image.png
image.png
# thresh=n：表示保留至少有n个不是NaN数据的行
df.dropna(thresh=3)
image.png
填充缺失值数据
- 不想滤除空值，想填充空值
-
fillna(n)函数：表示将缺失值替换为n -
fillna默认返回新的对象，也可以原地修改，通过inplace=True
image.png
image.png
# 通过字典调用fillna，实现对不同的列填充不同的数据
# key表示列属性，value表示填充的数据
df.fillna({1: 0.5, 2: 0.25})
image.png
# 将原来的数据进行修改
_ = df.fillna(0, inplace=True)
df
image.png
# fillna中传入的参数是多样的，reindexing中的方法也适用
df = pd.DataFrame(np.random.randn(6,3))
df.iloc[2:, 1] = NA
df.iloc[4:, 2] = NA
df
# ffill填充的是上一个位置的元素
# 产生新的对象
df.fillna(method="ffill")
image.png
# limit表示最多填充的个数
df.fillna(method='ffill', limit=3)
# 填充数据的中位数或者说平均值
data = pd.Series([1., NA, 3.5, NA, 7])
data.fillna(data.mean())
image.png
删除重复数据
- duplicated()：检查是否有重复行（前面的行），返回布尔型S数据
- drop_duplicates()：返回的是DF，重复的数据标为False
data = pd.DataFrame({'k1': ['one', 'two'] * 3 + ['two'],
'k2': [1, 1, 2, 3, 3, 4, 4],
'k3': [1, 5, 2, 6, 2, 5, 1]})
data
image.png
image.png
image.png
