一、什么是生成器
通过列表生成式,我们可以直接创建一个列表。但是,受到内存限制,列表容量肯定是有限的。而且,创建一个包含100万个元素的列表,不仅占用很大的存储空间,如果我们仅仅需要访问前面几个元素,那后面绝大多数元素占用的空间都白白浪费了。所以,如果列表元素可以按照某种算法推算出来,那我们是否可以在循环的过程中不断推算出后续的元素呢?这样就不必创建完整的list,从而节省大量的空间。在Python中,这种一边循环一边计算的机制,称为生成器:generator。
二、创建生成器的方法
1.将列表的 [ ] 改为()
下面为python快速生成列表:
>>> [x for x in range(5)]
[0, 1, 2, 3, 4]
若将 [ ] 改为(),则会创建一个生成器,可迭代对象
>>> gener=(x for x in range(5))
>>> next(gener)
0
>>> next(gener)
1
>>> next(gener)
2
>>> next(gener)
3
>>> next(gener)
4
>>> next(gener)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
生成器保存的是算法,每次调用 next(G) ,就计算出 G 的下一个元素的值,直到计算到最后一个元素,没有更多的元素时,抛出 StopIteration 的异常。当然,这种不断调用 next() 实在是太变态了,正确的方法是使用 for 循环,因为生成器也是可迭代对象。所以,我们创建了一个生成器后,基本上永远不会调用 next() ,而是通过 for 循环来迭代它,并且不需要关心 StopIteration 异常。
2.使用yield关键字。
generator非常强大。如果推算的算法比较复杂,用类似列表生成式的 for 循环无法实现的时候,还可以用函数来实现。
比如,著名的斐波拉契数列(Fibonacci),除第一个和第二个数外,任意一个数都可由前两个数相加得到:
1, 1, 2, 3, 5, 8, 13, 21, 34, ...
斐波拉契数列用列表生成式写不出来,但是,用函数把它打印出来却很容易:
In [28]: def fib(times):
....: n = 0
....: a,b = 0,1
....: while n<times:
....: print(b)
....: a,b = b,a+b
....: n+=1
....: return 'done'
....:
In [29]: fib(5)
1
1
2
3
5
Out[29]: 'done'
仔细观察,可以看出,fib函数实际上是定义了斐波拉契数列的推算规则,可以从第一个元素开始,推算出后续任意的元素,这种逻辑其实非常类似generator。
也就是说,上面的函数和generator仅一步之遥。要把fib函数变成generator,只需要把print(b)改为yield b就可以了:
In [30]: def fib(times):
....: n = 0
....: a,b = 0,1
....: while n<times:
....: yield b
....: a,b = b,a+b
....: n+=1
....: return 'done'
....:
In [31]: F = fib(5)
In [32]: next(F)
Out[32]: 1
In [33]: next(F)
Out[33]: 1
In [34]: next(F)
Out[34]: 2
In [35]: next(F)
Out[35]: 3
In [36]: next(F)
Out[36]: 5
In [37]: next(F)
---------------------------------------------------------------------------
StopIteration Traceback (most recent call last)
<ipython-input-37-8c2b02b4361a> in <module>()
----> 1 next(F)
StopIteration: done
在上面fib 的例子,我们在循环过程中不断调用 yield ,就会不断中断。当然要给循环设置一个条件来
退出循环,不然就会产生一个无限数列出来。同样的,把函数改成generator后,我们基本上从来不会用
next() 来获取下一个返回值,而是直接使用 for 循环来迭代:
In [38]: for n in fib(5):
....: print(n)
....:
1
1
2
3
5
In [39]:
但是用for循环调用generator时,发现拿不到generator的return语句的返回值。如果想要拿到返回值,必须捕获StopIteration错误,返回值包含在StopIteration的value中:
In [39]: g = fib(5)
In [40]: while True:
....: try:
....: x = next(g)
....: print("value:%d"%x)
....: except StopIteration as e:
....: print("生成器返回值:%s"%e.value)
....: break
....:
value:1
value:1
value:2
value:3
value:5
生成器返回值:done
In [41]:
2-1.通过一个函数了解yield和send的意义。
例子:执行到yield时,gen函数作用暂时保存,返回i的值;temp接收下次c.send("python"),send发送过来的值,c.next()等价c.send(None)
>>> def gen():
... i=0
... while i<5:
... temp = yield i
... print(temp)
... i+=1
...
# 1. 使用next函数
>>> f=gen()
>>> next(f)
0
>>> next(f)
None
1
>>> next(f)
None
2
>>> next(f)
None
3
>>> next(f)
None
4
>>> next(f)
None
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
StopIteration
# 2. 使用__next__()方法
>>> f=gen()
>>> f.__next__()
0
>>> f.__next__()
None
1
>>> f.__next__()
None
2
>>> f.__next__()
None
3
>>> f.__next__()
None
4
>>> f.__next__()
None
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
StopIteration
# 3. 使用send方法:有下面例子可以看出,f.__next__()相当于send(None)
>>> f=gen()
>>> f.__next__()
0
>>> f.send("haha")
haha
1
>>> f.__next__()
None
2
>>> f.send("heihei")
heihei
3
2-2.模拟多任务的实现
模拟多任务(进程,线程,协程)实现方式之一:协程
>>> def test1():
... while True:
... print("__1__")
... yield None
...
>>> def test2():
... while True:
... print("__2__")
... yield None
...
>>> t1=test1()
>>> t2=test2()
>>> while True:
... t1.__next__()
... t2.__next__()
...# 打印结果:
__1__
__2__
__1__
__2__
__1__
__2__
__1__
__2__
__1__
__2__
......