Python库学习之collections、itertools、multiprocessing

三贱客之collections

collections 是python 内建的集合模块，提供许多有用的集合类。容器数据类型。这个模块实现了特定目标的容器，以提供Python标准内建容器 dict, list, set, 和 tuple的替代选择。

namedtupe等价于快速构建简单类，比如：point = named tuple(‘point’， ['x', 'y'])；p = point(1, 2)；p.x 1; p.y 2

它用来创建一个自定义的tuple对象，并且规定了tuple元素的个数，并可以用属性而不是索引来引用tuple的某个元素

deque：高效实现插入和删除操作的双向列表，适合用于队列和堆栈。

defaultdict:如果希望key不存在时，返回一个默认值，就可以用defaultdict,返回默认值。

Ordereddict:如果要保持Key的顺序，可以用

Counter是一个简单的计数器。在nlp中构建词典的时候使用，挺方便的。还有做简单的词频统计

itertools提供了非常有用的用于操作迭代对象的函数

itertools.count(start[, step]) 创建一个从start开始，间隔为step的无限序列，例如：accumulate([1,2,3,4,5]) -->1 3 6 10 15

itertools.cycle(seq)创建一个无限循环的序列 [p0, p1, .., pn, p0, p1, .., pn ...]，例如cycle('ABCD') --> A B C D AB C D ...

itertools.repeat(object, n)创建一个重复n次的序列，例如repeat(10, 3) --> 10 10 10

itertools.takewhile(condition, iter) 依据条件，截取有限的序列，比如：iter = itertools.count(1); itertools(lambda x: x<10, iter)

itertools.chain(iter1，iter2)把一组迭代对象串联起来，形成一个更大的迭代器, 例如chain('ABC', 'DEF') --> A BC D E F

itertools.groupby(seq)把迭代器中相邻重复元素放在一起形成一个组，返回的是一个词典型对象？

itertools.accumulate(p[, func])累积运算，通过func定义累计方法，默认是加法：accumulate([1,2,3,4,5]) -->1 3 6 10 15

itertools.compress(data, selectors)只保留selector中为1的data

itertools.permutations(p, r) 所有可能的组合，没有顺序限制，没有重复元素permutations('ABCD', 2)->AB AC AD BA BC BD CA CB CD DA DB DC

itertools.product笛卡尔积外积：product('ABCD', repeat=2)->AA AB AC AD BA BB BC BD CA CB CCCD DA DB DC DD

itertools.combinations(p, r) 所有组合，按次序，没有重复元素:combinations('ABCD', 2)->AB AC AD BC BD CD

itertools.combinations_with_replacement(p, r), r是组合元素个数,所有组合，按次序，可有重复元素:combinations_with_replacement('ABCD',2)->AA AB AC AD BB BC BD CC CD DD

开启进程类：

- Pool同时开启多个进程，pool.map(f, param) 只允许单个参数输入；pool.apply_async(func, args=(arg1, arg2, ...)), p.get()来获取计算结果，pool.close()关闭进程，pool.join()进程同步

- Process逐个开启进程：Process(target=func, args=(arg1, arg2, ..) )， start()开启进程，join()进程同步

共享数据类：Value， Queue，Pipes， Manager, 其中value，queue只可以用于Process类，manager可以用于Process，Pool两个类。

参考：

3）https://blog.csdn.net/tanzuozhev/article/details/77090119

4）https://docs.python.org/2/library/multiprocessing.html