生成器-generator、迭代器-Iterator

生成器(generator)

定义
  • 通过列表生成式,我们可以直接创建一个列表。但受到内存限制,容量肯定是有限。(创建一个包含100万个元素的列表,不仅占用很大的存储空间,如果我们仅仅需要访问前面几个元素,那后面绝大多数元素占用的空间都白白浪费。)
  • 所以如果列表元素可以按照某种算法推算出来,那我们是否可以在循环的过程中不断推算出后续的元素呢?这样就不必创建完整的list,从而节省大量的空间。
  • 在Python中,这种一边循环一边计算的机制,称为生成器:generator。
要创建一个generator
1 只要把一个列表生成式的[]改成(),就创建了一个generator
  • 一个一个打印出来,可以通过next()函数获得generator的下一个返回值
    generator保存的是算法,每次调用next(g),就计算出g的下一个元素的值,直到计算到最后一个元素,没有更多的元素时,抛出StopIteration的错误。
  • 正确的方法是使用for循环,因为generator也是可迭代对象:
g = (x * x for x in range(4))
print(g)
#<generator object <genexpr> at 0x0000014E15F44E60>
print(next(g))
#0
print(next(g))
#1
#接着上边执行
for n in g:
    print(n)
#4
#9
for n in (x * x for x in range(2)):
    print(n)
#0
#1
2 函数定义中包含yield关键字那么这个函数就不再是一个普通函数,而是一个generator:

普通函数和generator函数不同之处

  • 普通函数和generator函数的执行流程不一样。
    普通函数是顺序执行,遇到return语句或者最后一行函数语句就返回。
    generator函数,在每次调用next()的时候执行,遇到yield语句返回,再次执行时从上次返回的yield语句处继续执行
  • 普通函数和generator函数调用结果不一样
    普通函数调用直接返回具体结果
    generator函数的“调用”实际返回一个generator对象<generator.......
def odd():
    print('step 1')
    yield 1
    print('step 2')
    yield(3)
    print('step 3')
    yield(5)
o = odd()
print(next(o))
print(next(o))
for p in odd():
    print(p)
'''
step 1
1
step 1
1
step 2
3
step 3
5
'''
#-------------------------------------------------------------------------------------------------------------------------------
def start_requests():
    for p in range(1,5):
        url = f"https://seekingalpha.com/latest-articles?page={p}"
        yield {"url": url}   


g=start_requests()
print(next(g))
print(next(g))
print(next(g))
for p in start_requests():
    print(p)

'''
{'url': 'https://seekingalpha.com/latest-articles?page=1'}
{'url': 'https://seekingalpha.com/latest-articles?page=2'}
{'url': 'https://seekingalpha.com/latest-articles?page=3'}
{'url': 'https://seekingalpha.com/latest-articles?page=1'}
{'url': 'https://seekingalpha.com/latest-articles?page=2'}
{'url': 'https://seekingalpha.com/latest-articles?page=3'}
{'url': 'https://seekingalpha.com/latest-articles?page=4'}
'''

迭代器(Iterator)

可以直接作用于for循环的数据类型有以下几种:

  • 一类是集合数据类型,如list、tuple、dict、set、str等;
  • 一类是generator,包括生成器和带yield的generator function。
定义
  • Iterable可迭代对象:这些可以直接作用于for循环的对象统称为可迭代对象
  • Iterator迭代器:不但可以作用于for循环,还可以被next()函数调用并不断返回下一个值的对象称为迭代器
  • 凡是可作用于for循环的对象都是Iterable类型;
  • 凡是可作用于next()函数的对象都是Iterator类型,它们表示一个惰性计算的序列;
  • 集合数据类型如listdictstr等是Iterable但不是Iterator,不过可以通过iter()函数获得一个Iterator对象。
    因为Python的Iterator对象表示的是一个数据流
    Iterator对象可以被next()函数调用并不断返回下一个数据,直到没有数据时抛出StopIteration错误。
    可以把这个数据流看做是一个有序序列,但我们却不能提前知道序列的长度
    只不断通过next()实现按需计算下一个数据,所以Iterator计算是惰性,只在需要返回下一个数据时才会计算
    Iterator甚至可以表示一个无限大的数据流,例如全体自然数。而使用list是永远不可能存储全体自然数的。
from collections.abc import Iterator

a=isinstance((x for x in range(10)), Iterator)
print(a)
#True
b=isinstance(iter('abc'), Iterator)
print(b)
#True
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,884评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,755评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,369评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,799评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,910评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,096评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,159评论 3 411
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,917评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,360评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,673评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,814评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,509评论 4 334
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,156评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,882评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,123评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,641评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,728评论 2 351

推荐阅读更多精彩内容