理解python生成器

          我们知道我们可以用列表储存数据,可是当我们的数据特别大的时候建立一个列表的储存数据就会很占内存的。如通过列表生成式,我们可以直接创建一个列表,但是,受到内存限制,列表容量肯定是有限的,而且创建一个包含100万个元素的列表,不仅占用很大的存储空间,如果我们仅仅需要访问前面几个元素,那后面绝大多数元素占用的空间都白白浪费了。

这时生成器就派上用场了。为什么呢?

生成器工作原理

         生成器是一类特殊的迭代器,可以被用作控制循环的迭代行为,这种一边循环一边计算的机制,生成器返回按需产生结果的一个对象,而不是一次构建一个结果列表,也是用在迭代操作中,因此它有和迭代器一样的特性,唯一的区别在于实现方式上不一样。

         Python有两种不同的方式提供生成器:生成器表达式、yield。

生成器表达式

       类似于列表推导,是列表解析的一个拓展。格式为

(expr for

iter_var in iterable if cond_expr)

它与列表解析器非常相似,且语法基本相同,但不是真正创建列表而是返回一个生成器。括号里面的就称为生成器表达式。这个生成器在每次计算出一个条目后,把这个条目“产生(yield)出来”,实际上生成器表达式使用了“延迟计算(lazy evaluation)”算法。

>>>from collections import Iterator

>>>ge = (2*i for i in range(5))

>>>

>>>ge

at 0x7fda46166410>

>>>isinstance(ge,Iterator)

True

>>> 

      由此可见,调用一个生成器函数,返回的是一个迭代器对象,生成器本身就是一个迭代器 。

         每次调用next(ge)就计算出他的下一个元素的值,直到计算出最后一个元素,没有更多的元素时,抛出StopIteration的错误。

>>>next(ge)

0

>>>next(ge)

2

>>> 

        同迭代器一样,我们可以用for循环或list()迭代获取生成器对象中的每个元素,并且不会产生StopIteration异常。

      如可以使用list()取出生成器每个元素的值,返回一个列表。

>>>ge = (2*i for i in range(5))

>>>ge

at 0x000001DE8B263FC0>

>>>list(ge)

[0, 2,4, 6, 8]

>>> 

         生成器表达式可以作为一个单独参数传递给函数,这些函数通常是min()\max()\sum()和join()\any()。这样做的好处是在过滤数据的时候,同时进行计算,它和使用列表作为参数达到的效果一样,如

>>>nums = [1, 2, 3, 4, 5]

>>>s = sum([x * x for x in nums])

>>>s

55

>>> 

使用生成器表达式作为参数

>>>s

= sum((x * x for x in nums)) # 显示的传递一个生成器表达式对象

>>>s

= sum(x * x for x in nums) # 更加优雅的实现方式,省略了括号

>>>s

55

>>> 

 

         上面示例中如果元素数量非常大的时候,它会创建一个巨大的仅仅被使用一次就被丢弃的临时数据结构(转换数据生成数据的花销)。而生成器方案会以迭代的方式转换数据,因此更省内存。

withopen(filename) as f:

lines = (line.strip() for line in f)              #生成器

for line in lines:

print(line)

         在这里,表达式lines = (line.strip() for line in f)执行数据转换操作。这种方式非常高效,因为它不需要预先读取所有数据放到一个临时的列表中去。它仅仅只是创建一个生成器,并且每次返回行之前会先执行strip操作。

生成器函数

         常规函数一般通过return语句返回结果,跟普通函数不同的是,生成器函数通过yield语句一次返回一个结果给调用者,在每个结果中间,挂起函数的状态,以便下次从它离开的地方继续执行(yield下面一条语句),直到遇到下一个yield或者满足结束条件结束函数为止。一个函数中需要有一个yield语句即可将其转换为一个生成器。它只能用于迭代操作。生成器函数可以通过常规的def语句来定义,如

>>>def gefun(stop):

         x=1

         while x

                   print("start... " +str(x))

                   yield x

                   x+=1

                   print("go on..."+str(x))

>>>ge=gefun(5)                             #此处不会导致函数运行,即第一个print函数不会执行

>>>ge

>>>next(ge)

start...1

1

>>>next(ge)

goon... 2

start...2

2

>>> 

 

          生成器通过生成器函数产生(内部支持了生成器协议,不需要明确定义__iter__()和next()方法)。yield之前的语句在不使用next()函数调用的话,也不会执行。

           除了next()函数,还有一个send()函数可以达到同样的效果,只不过该函数可以给yield表达式传递参数。但不会改变原有迭代的逻辑。

>>>def gefun(stop):

         x=1

         while x

                   print("start... " +str(x))

                   num=yield x

                   x+=1

                   print("go on..."+str(x))

                   print(num)

>>>ge=gefun(5) 

>>>next(ge)

start...1

1

>>>ge.send(12)

goon... 2

12

start...2

2

 

注意在调用send方法前需要先调用next()一次,以便yield接收参数,或使用send(None)代替第一次的next()调用。

一个生成器函数主要特征是它里面的语句只会回应在迭代中使用到的next操作。一旦生成器函数返回退出,迭代终止。不过我们在迭代中通常使用的for 语句会自动处理这些细节。

>>>for n in gefun(5):

         print(n)

 

        

1

goon... 1

2

goon... 2

3

goon... 3

4

goon... 4

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,864评论 6 494
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,175评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,401评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,170评论 1 286
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,276评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,364评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,401评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,179评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,604评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,902评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,070评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,751评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,380评论 3 319
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,077评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,312评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,924评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,957评论 2 351

推荐阅读更多精彩内容

  • 本节课纲 可迭代对象 迭代器 生成器Python中内置的序列,如list、tuple、str、bytes、dict...
    郭_扬阅读 1,218评论 0 0
  • 我们可以通过列表生成式简单直接地创建一个列表,但是受到内存限制,列表容量肯定是有限的。而且,创建一个包含100万个...
    PyChina阅读 2,856评论 0 3
  • 写在前面的话 代码中的# > 表示的是输出结果 输入 使用input()函数 用法 注意input函数输出的均是字...
    FlyingLittlePG阅读 2,748评论 0 8
  • SecureCRT sftp上传操作 sftp SecureCRT 按下ALT+P就开启新的会话 进行ftp操作。...
    毛子果阅读 121评论 0 0
  • MongDBMongDB一种面向文档的数据库管理系统,由C++写成。官网 https://www.mongodb....
    小小小8021阅读 414评论 0 1