python标准库参考itertools:函数式序列数据高效处理利器-1: count、cycle、repeat、chain

简介

Python 有很多内置工具,允许我们迭代和转换数据。比如itertools模块,它提供了几个方便的迭代函数。每个迭代器构建函数都可以单独使用,也可以组合使用。

该模块的灵感来自于函数式语言,如APL、Haskell 和 SPL。

Iterable vs Iterator

iterable是可迭代的对象。当使用iter()函数时,生成迭代器。一般来说,大多数序列都是可迭代的,如列表、元组、字符串等。

iterator来迭代可迭代的序列,迭代器也可以迭代自己,可以通过使用next()方法来实现,传入我们要遍历的迭代器。

>>> list = [1,2,3,4,5]
>>> iterator = iter(list)
>>> print(iterator)
<list_iterator object at 0x7f96d5ed66d0>
>>> print(next(iterator))
1

count()

count(start, step)函数创建了代器,用于生成均匀间隔的值,它们之间的空间由step参数定义。start参数定义了迭代器的起始值--默认情况下,这些参数被设置为start=0,step=1。

如果没有中断条件,count()函数将无限计数(受限于内存)。

>>> from itertools import count
>>> 
>>> iterator_count = count(start=0, step=5)
>>> 
>>> for i in iterator_count:
...     if(i == 25):
...         break
...     print(i)
... 
0
5
10
15
20

该函最常与其他函数一起使用。

例如,当使用zip()将一个列表的多个项目压缩在一起时,你可能想通过一个位置索引来注释它们。在压缩的时候,我们会用count()来生成这些索引的值。

>>> from itertools import count
>>> 
>>> list = ['John', 'Marie', 'Jack', 'Anna']
>>> for i in zip(count(), list):
...     print(i)
... 
(0, 'John')
(1, 'Marie')
(2, 'Jack')
(3, 'Anna')
>>> for i in zip(range(10), list):
...     print(i)
... 
(0, 'John')
(1, 'Marie')
(2, 'Jack')
(3, 'Anna')

是不是和内置函数range和类似,只是更简单一点。因为这个原因,很多人使用range而不是count。不过count支持小数:

>>> for i in zip(count(1, 0.1), ['a', 'b', 'c']):
...     print('{:.2f}: {}'.format(*i))
... 
1.00: a
1.10: b
1.20: c

cycle()函数

cycle()函数接受iterable并生成一iterator,它包含了迭代器的所有元素。
一旦我们迭代到元素的末尾,我们就开始迭代这些副本。在迭代副本的过程中,会产生新的副本。一旦第一组副本用完,我们就迭代新的一组。这个过程无限重复。

使用cycle(),特别是对较长的序列来说,是非常耗费内存的。小心无限的、递归的创建逻辑,因为会耗尽内存。

from itertools import cycle

list = [1,2,3,4]
iterator = cycle(list)

for i in iterator:
    print(i)

结果

1
2
3
4
1
2
3
4
...

直到我们终止程序或耗尽内存。也就是说--你应该始终为cycle()函数设置退出/终止条件。

repeat()函数

cycle占用内存太多,可以用repeat控制数量

>>> from itertools import repeat
>>> 
>>> for i in repeat('over-and-over', 5):
...     print(i)
... 
over-and-over
over-and-over
over-and-over
over-and-over
over-and-over

# repeat在只传入一个参数的时候,表示循环该值

>>> for i in map(lambda x, y: (x, y, x * y), repeat(2), range(5)):
...     print('{:d} * {:d} = {:d}'.format(*i))
... 
2 * 0 = 0
2 * 1 = 2
2 * 2 = 4
2 * 3 = 6
2 * 4 = 8

参考资料

chain()函数

chain()函数用于将多个iterable连接一起,通过生成一个迭代器,一个接一个地依次遍历它们。

from itertools import chain

result = list(chain([1, 2, 3], 
        ["one", "two", "three"], 
        "String", 
        ("this", "is", "a", "tuple")))
        
print(result)

结果

[1, 2, 3, 'one', 'two', 'three', 'S', 't', 'r', 'i', 'n', 'g', 'this', 'is', 'a', 'tuple']

更多例子

from itertools import chain

result2 = list(chain(["one", "two", "three"]))
result3 = list(chain.from_iterable(["one", "two", "three"]))

print(result2)
print(result3)

number_list = [[1, 2, 3],[4, 5, 6],[7, 8, 9]]
result = list(chain.from_iterable(number_list))
print(sum(result))

结果

['one', 'two', 'three']
['o', 'n', 'e', 't', 'w', 'o', 't', 'h', 'r', 'e', 'e']
45
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 224,642评论 6 522
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 96,168评论 3 402
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 171,809评论 0 366
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 60,921评论 1 300
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 69,924评论 6 399
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 53,415评论 1 314
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 41,794评论 3 428
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 40,765评论 0 279
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 47,297评论 1 324
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 39,331评论 3 345
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 41,458评论 1 354
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 37,065评论 5 350
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 42,777评论 3 337
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 33,233评论 0 25
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 34,366评论 1 275
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 50,001评论 3 381
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 46,524评论 2 365

推荐阅读更多精彩内容