其他关于Python的总结文章请访问:https://www.jianshu.com/nb/47435944
详解Python中的生成器和迭代器(generator和iterator)
生成器
生成器(generator)是一种边生成边计算的机制。比如我们使用 x = list(range(100))
会生成一个长度为100的list,那么这个列表就要占用100个整型变量所占用的空间,是非常耗费空间的,如果我们不同时使用所有的100个元素,而是一个一个地使用,那就没有必要一下子把100个变量的整个list都生成出来,只要一个一个生成,生成后使用,使用完后删掉再生成下一个就可以了,这样其实只占用了一个整形变量所需要的空间,这就是生成器的基本思想,边生成边使用
生成器的创建方式一
生成器generator
可以使用和列表生成式(有关列表生成式的内容可以看另一篇博客:https://www.jianshu.com/p/f5ae86990e21)相同的语法,但是使用 ( )
代替 [ ]
就会创建一个生成器。
>>> [x * 2 for x in range(1, 11)]
[2, 4, 6, 8, 10, 12, 14, 16, 18, 20]
>>> (x * 2 for x in range(1, 11))
<generator object <genexpr> at 0x0000012EB4D17BC8>
上边使用列表生成式创建了一个list,而下边使用小括号包裹就创建了一个generator
生成器的使用
生成器 generator
其实在一个时候只代表着一个值,可以使用 next()
函数来获得 generator
的下一个值,每一次使用 next()
函数,生成器就更新一下,变成下一个值,这样就可以循环整个生成器所代表的所有值了,如果已经到了最后一个,再调用 next()
函数的时候就会抛出 StopInteration
的错误
>>> g = (x for x in range(5))
>>> next(g)
0
>>> next(g)
1
>>> next(g)
2
>>> next(g)
3
>>> next(g)
4
>>> next(g)
Traceback (most recent call last):
File "<input>", line 1, in <module>
StopIteration
更简单的方式是使用 for
循环,一个 generator
也是一个可以迭代的对象,所以照常使用 for
循环无误,而且不需要考虑最后迭代结束后抛出错误的问题:
g = (x for x in range(5))
for i in g:
print(i, end=" ")
------
0 1 2 3 4
生成器的创建方式二
如果对于生成器的表达方式过于复杂,不能用简单的一个 for
循环搭配一个 if
(else
)完成,则可以使用带有 yield
函数的方式创建生成器。
简单说,只要包含 yield
关键字的函数就是一个 generator
,yield
的作用是中断函数的运行并且返回后边的值,这也就完成了一次 generator
的迭代/更新,也就是说调用一次 next
函数,就会使得 generator
继续执行,直到遇到下一个 yield
就再次中断,返回后边的值。
>>> def odd():
... print('step 1')
... yield 1
... print('step 2')
... yield 3
... print('step 3')
... yield 5
... return 0
>>> g = odd()
>>> g
<generator object odd at 0x0000012EB4D17BC8>
>>> next(g)
step 1
1
>>> next(g)
step 2
3
>>> next(g)
step 3
5
>>> next(g)
Traceback (most recent call last):
File "<input>", line 1, in <module>
StopIteration
可见,每一个 next
都使得 generator
的函数往下继续运行,并且 yield
返回的值就是新的 generator
的值,在超出范围后依然抛出 StopIteration
错误。
所以其实使用函数来定义 generator
给定义更复杂的生成器更新规则提供了可能,但是注意使用函数定义的 generator
必须要有可以结束的条件,否则生成器会一直更新下去。
函数定义的生成器同样可以使用 for
循环来迭代:
def odd():
print('step 1')
yield 1
print('step 2')
yield 3
print('step 3')
yield 5
g = odd()
for i in range(3):
print(next(g))
------
step 1
1
step 2
3
step 3
5
但是有一个问题就是,如果最后一个 yield
后边还有其他代码,那就无法执行,但是可以通过异常处理来完成:
def odd(upper):
n = 1
while n < upper:
if n % 2 != 0:
yield n
n += 1
print("some others")
return 'done'
g = odd(10)
while True:
try:
print(next(g))
except StopIteration as e:
print('returned value: ', e.value)
break
------
1
3
5
7
9
some others
returned value: done
迭代器
迭代器(Ietrator
)是一个对象,凡是可以使用 next()
函数调用并不断返回下一个值的对象都是迭代器。
Python中,凡是可以使用 for
循环进行迭代的对象都称为可迭代对象(Ietrable
),但是只有可以使用next函数调用更新值的才成为迭代器(Ietrator
)。所有的可迭代对象都可以通过 iter()
函数变成迭代器:
>>> isinstance(iter([]), Iterator)
True
所以生成器是一类迭代器,但是迭代器还有更广范的内容,因为Python的
Iterator
对象表示的是一个数据流,Iterator
对象可以被next()
函数调用并不断返回下一个数据,直到没有数据时抛出StopIteration
错误。可以把这个数据流看做是一个有序序列,但我们却不能提前知道序列的长度,只能不断通过next()
函数实现按需计算下一个数据,所以Iterator
的计算是惰性的,只有在需要返回下一个数据时它才会计算。
Iterator
甚至可以表示一个无限大的数据流,例如全体自然数。而使用list是永远不可能存储全体自然数的。