详解Python中的生成器和迭代器(generator和iterator)

其他关于Python的总结文章请访问:https://www.jianshu.com/nb/47435944

详解Python中的生成器和迭代器(generator和iterator)

生成器

生成器(generator)是一种边生成边计算的机制。比如我们使用 x = list(range(100)) 会生成一个长度为100的list,那么这个列表就要占用100个整型变量所占用的空间,是非常耗费空间的,如果我们不同时使用所有的100个元素,而是一个一个地使用,那就没有必要一下子把100个变量的整个list都生成出来,只要一个一个生成,生成后使用,使用完后删掉再生成下一个就可以了,这样其实只占用了一个整形变量所需要的空间,这就是生成器的基本思想,边生成边使用

生成器的创建方式一

生成器generator可以使用和列表生成式(有关列表生成式的内容可以看另一篇博客:https://www.jianshu.com/p/f5ae86990e21)相同的语法,但是使用 ( ) 代替 [ ] 就会创建一个生成器。

>>> [x * 2 for x in range(1, 11)]
[2, 4, 6, 8, 10, 12, 14, 16, 18, 20]

>>> (x * 2 for x in range(1, 11))
<generator object <genexpr> at 0x0000012EB4D17BC8>

上边使用列表生成式创建了一个list,而下边使用小括号包裹就创建了一个generator

生成器的使用

生成器 generator 其实在一个时候只代表着一个值,可以使用 next() 函数来获得 generator 的下一个值,每一次使用 next() 函数,生成器就更新一下,变成下一个值,这样就可以循环整个生成器所代表的所有值了,如果已经到了最后一个,再调用 next() 函数的时候就会抛出 StopInteration 的错误

>>> g = (x for x in range(5))
>>> next(g)
0
>>> next(g)
1
>>> next(g)
2
>>> next(g)
3
>>> next(g)
4
>>> next(g)
Traceback (most recent call last):
    File "<input>", line 1, in <module>
StopIteration

更简单的方式是使用 for 循环,一个 generator 也是一个可以迭代的对象,所以照常使用 for 循环无误,而且不需要考虑最后迭代结束后抛出错误的问题:

g = (x for x in range(5))
for i in g:
    print(i, end=" ")

------

0 1 2 3 4 

生成器的创建方式二

如果对于生成器的表达方式过于复杂,不能用简单的一个 for 循环搭配一个 ifelse)完成,则可以使用带有 yield 函数的方式创建生成器。

简单说,只要包含 yield 关键字的函数就是一个 generatoryield 的作用是中断函数的运行并且返回后边的值,这也就完成了一次 generator 的迭代/更新,也就是说调用一次 next函数,就会使得 generator 继续执行,直到遇到下一个 yield 就再次中断,返回后边的值。

>>> def odd():
...     print('step 1')
...     yield 1
...     print('step 2')
...     yield 3
...     print('step 3')
...     yield 5
...     return 0

>>> g = odd()
>>> g
<generator object odd at 0x0000012EB4D17BC8>
>>> next(g)
step 1
1
>>> next(g)
step 2
3
>>> next(g)
step 3
5
>>> next(g)
Traceback (most recent call last):
    File "<input>", line 1, in <module>
StopIteration

可见,每一个 next 都使得 generator 的函数往下继续运行,并且 yield 返回的值就是新的 generator 的值,在超出范围后依然抛出 StopIteration 错误。

所以其实使用函数来定义 generator 给定义更复杂的生成器更新规则提供了可能,但是注意使用函数定义的 generator 必须要有可以结束的条件,否则生成器会一直更新下去。

函数定义的生成器同样可以使用 for 循环来迭代:

def odd():
    print('step 1')
    yield 1
    print('step 2')
    yield 3
    print('step 3')
    yield 5


g = odd()

for i in range(3):
    print(next(g))

------

step 1
1
step 2
3
step 3
5

但是有一个问题就是,如果最后一个 yield 后边还有其他代码,那就无法执行,但是可以通过异常处理来完成:

def odd(upper):
    n = 1
    while n < upper:
        if n % 2 != 0:
            yield n
        n += 1
    print("some others")
    return 'done'


g = odd(10)

while True:
    try:
        print(next(g))
    except StopIteration as e:
        print('returned value: ', e.value)
        break

------

1
3
5
7
9
some others
returned value:  done

迭代器

迭代器Ietrator)是一个对象,凡是可以使用 next() 函数调用并不断返回下一个值的对象都是迭代器。

Python中,凡是可以使用 for 循环进行迭代的对象都称为可迭代对象Ietrable),但是只有可以使用next函数调用更新值的才成为迭代器(Ietrator)。所有的可迭代对象都可以通过 iter() 函数变成迭代器:

>>> isinstance(iter([]), Iterator)
True

所以生成器是一类迭代器,但是迭代器还有更广范的内容,因为Python的 Iterator 对象表示的是一个数据流,Iterator 对象可以被 next() 函数调用并不断返回下一个数据,直到没有数据时抛出 StopIteration 错误。可以把这个数据流看做是一个有序序列,但我们却不能提前知道序列的长度,只能不断通过 next() 函数实现按需计算下一个数据,所以 Iterator 的计算是惰性的,只有在需要返回下一个数据时它才会计算。

Iterator 甚至可以表示一个无限大的数据流,例如全体自然数。而使用list是永远不可能存储全体自然数的。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,122评论 6 505
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,070评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,491评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,636评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,676评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,541评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,292评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,211评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,655评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,846评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,965评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,684评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,295评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,894评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,012评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,126评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,914评论 2 355