三贱客之collections
collections 是python 内建的集合模块,提供许多有用的集合类。容器数据类型。这个模块实现了特定目标的容器,以提供Python标准内建容器 dict, list, set, 和 tuple的替代选择。
namedtupe等价于快速构建简单类,比如:point = named tuple(‘point’, ['x', 'y']);p = point(1, 2);p.x 1; p.y 2
它用来创建一个自定义的tuple对象,并且规定了tuple元素的个数,并可以用属性而不是索引来引用tuple的某个元素
deque: 高效实现插入和删除操作的双向列表,适合用于队列和堆栈。
defaultdict:如果希望key不存在时,返回一个默认值,就可以用defaultdict,返回默认值。
Ordereddict:如果要保持Key的顺序,可以用
Counter是一个简单的计数器。在nlp中构建词典的时候使用,挺方便的。还有做简单的词频统计
三贱客之itertools
itertools提供了非常有用的用于操作迭代对象的函数
itertools.count(start[, step]) 创建一个从start开始,间隔为step的无限序列,例如:accumulate([1,2,3,4,5]) -->1 3 6 10 15
itertools.cycle(seq)创建一个无限循环的序列 [p0, p1, .., pn, p0, p1, .., pn ...],例如cycle('ABCD') --> A B C D AB C D ...
itertools.repeat(object, n)创建一个重复n次的序列,例如repeat(10, 3) --> 10 10 10
itertools.takewhile(condition, iter) 依据条件,截取有限的序列, 比如:iter = itertools.count(1); itertools(lambda x: x<10, iter)
itertools.chain(iter1,iter2)把一组迭代对象串联起来,形成一个更大的迭代器, 例如chain('ABC', 'DEF') --> A BC D E F
itertools.groupby(seq)把迭代器中相邻重复元素放在一起形成一个组,返回的是一个词典型对象?
itertools.accumulate(p[, func])累积运算, 通过func定义累计方法,默认是加法:accumulate([1,2,3,4,5]) -->1 3 6 10 15
itertools.compress(data, selectors)只保留selector中为1的data
itertools.permutations(p, r) 所有可能的组合,没有顺序限制,没有重复元素permutations('ABCD', 2)->AB AC AD BA BC BD CA CB CD DA DB DC
itertools.product笛卡尔积 外积 :product('ABCD', repeat=2)->AA AB AC AD BA BB BC BD CA CB CCCD DA DB DC DD
itertools.combinations(p, r) 所有组合,按次序,没有重复元素:combinations('ABCD', 2)->AB AC AD BC BD CD
itertools.combinations_with_replacement(p, r), r是组合元素个数,所有组合,按次序,可有重复元素:combinations_with_replacement('ABCD',2)->AA AB AC AD BB BC BD CC CD DD
三贱客之multiprocessing
开启进程类:
- Pool同时开启多个进程,pool.map(f, param) 只允许单个参数输入;pool.apply_async(func, args=(arg1, arg2, ...)), p.get()来获取计算结果,pool.close()关闭进程,pool.join()进程同步
- Process逐个开启进程:Process(target=func, args=(arg1, arg2, ..) ), start()开启进程,join()进程同步
共享数据类:Value, Queue,Pipes, Manager, 其中value,queue只可以用于Process类,manager可以用于Process,Pool两个类。
参考:
2)https://docs.python.org/zh-cn/3/library/collections.html
3)https://blog.csdn.net/tanzuozhev/article/details/77090119
4)https://docs.python.org/2/library/multiprocessing.html