删除序列相同元素并保持顺序
问题
在序列上保持元素顺序的同时删除重复的值
解决
>>> def dedup(items):
... seen = set()
... for item in items:
... if item not in seen:
... seen.add(item)
... return seen
...
>>> a = [1, 5, 2, 1, 9, 1, 5, 10]
>>> list(dedup(a))
[1, 2, 5, 9, 10]
首先看错误的，上面代码虽然完成了去重，但是元素的位置发生了变化
下面是正确代码
>>> def dedup(items):
... seen = set()
... for item in items:
... if item not in seen:
... yield item
... seen.add(item)
...
>>> a = [1, 5, 2, 1, 9, 1, 5, 10]
>>> list(dedup(a))
[1, 5, 2, 9, 10]
这里的方法仅适用于元素是可哈希的，而yield的作用就是返回迭代器。
可以将上面的函数改造一下看一下结果
def dedup(items):
seen = set()
for item in items:
if item not in seen:
yield item
seen.add(item)
print('a')
>>> list(dedup(a))
a
a
a
a
a
[1, 5, 2, 9, 10]
因为dedup函数带yield，所以它返回的是一个迭代器，我们可以用next()函数，分步运行便于理解
>>> c = dedup(a)
>>> next(c)
1
>>> next(c)
a
5
>>> next(c)
a
2
>>> next(c)
a
9
>>> next(c)
a
10
c是一个迭代器，调用next()发现，每一次的函数运行只进行到yield字段，yield后面的在下次函数调用中完成。
如果想消除元素不可哈希的序列中的重复元素（比如字典），需要把代码再改一下
>>> def dedup(items, key = None):
... seen = set()
... for item in items:
... val = item if key is None else key(item)
... if val not in seen:
... yield item
... seen.add(val)
...
a = [ {'x':1, 'y':2}, {'x':1, 'y':3}, {'x':1, 'y':2}, {'x':2, 'y':4}]
>>> list(dedup(a, key=lambda d: (d['x'],d['y'])))
[{'x': 1, 'y': 2}, {'x': 1, 'y': 3}, {'x': 2, 'y': 4}]
