2020-02-26删除csv文件中两列数值的重复值

需要操作的文件如下:


操作之前的csv文件

但文件中数据的顺序是可不考虑的,就是AB=BA,因此需要删掉(.1,3)和(3,1)的其中一个。

经过搜索,发现了这个论坛给出了答案,网址是https://cloud.tencent.com/developer/ask/171141

写的代码如下:

import numpyas np

import pandasas pd

df1 = pd.read_csv('test.csv', encoding='gbk')

res = df1[~df1[['STUID_x', 'STUID_y']].apply(frozenset, axis=1).duplicated()]

print(res)

res.to_csv('无重复test.csv',index=False)

得到删除重复项后的文件:


去除重复项后的操作
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。