1、常规操作
要从一个 dataframe 中,筛选出某些列值符合要求的行数据,可以用类似以下的语句实现:
df[df[col] == x]
也可以用 .query() 实现:
df.query('col == x')
2、其他操作方法
1)筛选出 col 列中值不是 bool 类型的行
df.query('col not in (True, False)')
2)筛选出 col 列中值为 nan、None 的值
df = pd.DataFrame({"value": [3,4,9,10,11,np.nan,12]})
# 方法1
# 利用 'nan 不等于自身' 的性质,筛选出非 nan、None 的行
df.query("value == value')
# 方法2
# 类似的还有 isnull, notnull,isnan 等
df.query('value.notna()', engine='python')
# 方法3
df.query('value != 'NaN'")
以上结果都是
Out[28]:
value
0 3.0
1 4.0
2 9.0
3 10.0
4 11.0
6 12.0
# 筛选出不是 NaT 的行(提前使用外部函数,超纲了哈)
df.query('col not in [@pd.NaT]')
3)在 query 中筛选时引用外部变量
# 1. 外部为普通变量
# 方法1
pi = 3.1415
df.query('value < 10 and value > @pi')
# 方法2
pi = 3.1415
df.query(f'value < 10 and value > {pi}')
# 2.外部变量为 list
cond = [4, 12]
df.query('@cond[0] < value < @cond[1]')
# 3.外部变量为 dict,注意中括号中不能有引号,因此要取 dict 的值,需要用 dict.get() 的方式
cond = {'dn_band': 4, 'up_band': 12}
df.query("@cond.get('dn_band') < value < @cond.get('up_band')")
# 4.外部为函数
num = [2, 6]
def func(x):
return x * 2
df.query('@func(@num[0]) < value < @func(@num[1])')
以上的结果都是
Out[30]:
value
3 10.0
4 11.0
参考资料:
1、Querying for NaN and other names in Pandas
2、DataFrame的assign和query方法