在上一篇文章中我们看到了Python对于清单（list）的处理方法，而在实际的爬虫过程中，当我们将上万条数据存储并提取list之后，常遇到的一个问题是怎么去掉list中重复的元素而只保留不重复的元素，这个时候我们就要用到今天展示的set方法。

比如列表a = [5, 2, 5, 1, 4, 3, 4]，可以用如下方式实现

a = [5, 2, 5, 1, 4, 3, 4]

print list(set(a))

如果想要保持他们原来的排序：

用list类的sort方法

l1 =['b','c','d','b','c','a','a']

l2 =list(set(l1))

l2.sort(key=l1.index)

printl2

也可以这样写

l1 =['b','c','d','b','c','a','a']

l2 =sorted(set(l1),key=l1.index)

printl2

也可以用遍历

l1 =['b','c','d','b','c','a','a']

l2 =[]

fori inl1:

ifnoti inl2:

l2.append(i)

printl2

上面的代码也可以这样写

l1 =['b','c','d','b','c','a','a']

l2 =[]

[l2.append(i) fori inl1 ifnoti inl2]

printl2

这样就可以保证排序不变了：

1['b', 'c', 'd', 'a']

Python中set集合对象还支持union(联合[|])、intersection(交[&])、difference(差[-])和sysmmetric

difference(对称差集^)等数学运算。如下：

a = set('abracadabra')

b = set('alacazam')

# a包含且b包含的字符

print a & b

print a.intersection(b)

# a包含或b包含的字符

print a | b

print a.union(b)

# a包含且b不包含的字符

print a - b

print a.difference(b)

# a包含且b不包含的字符和b包含且a不包含的字符

print a ^ b