14. Python之迭代器(iterator)和生成器(generator)

1 什么是迭代器

    迭代器指的是迭代取值的工具,迭代是一个重复的过程,每次重复
    都是基于上一次的结果而继续的,单纯的重复并不是迭代

2 为何要有迭代器

    迭代器是用来迭代取值的工具,而涉及到把多个值循环取出来的类型
    有:列表、字符串、元组、字典、集合、打开文件
    
    l=['admin','manager','boss']
    i=0
    while i < len(l):
        print(l[i])
        i+=1
        
    上述迭代取值的方式只适用于有索引的数据类型:列表、字符串、元组
    为了解决基于索引迭代器取值的局限性
    Python必须提供一种能够不依赖于索引的取值方式,这就是迭代器

3 如何用迭代器

1、可迭代的对象:但凡内置有__iter__方法的都称之为可迭代的对象
s1=''
# s1.__iter__()

l=[]
# l.__iter__()

t=(1,)
# t.__iter__()

d={'a':1}
# d.__iter__()

set1={1,2,3}
# set1.__iter__()

with open('a.txt',mode='w') as f:
    # f.__iter__()
    pass
整型和浮点型是没有__iter__方法的, 不是可迭代对象
2、调用可迭代对象下的__iter__方法会将其转换成迭代器对象(可迭代对象可以理解为可以转换成迭代器的对象)
d={'a':1,'b':2,'c':3}
d_iterator=d.__iter__()
print(d_iterator)
<dict_keyiterator object at 0x0000021CC54B4CC0>
print(d_iterator.__next__())  >> a
print(d_iterator.__next__())  >> b
print(d_iterator.__next__())  >> c 
print(d_iterator.__next__())  >>     print(d_iterator.__next__())
StopIteration # 取值取完了
捕捉异常, 捕捉到就结束循环

while True:
    try:
        print(d_iterator.__next__())
    except StopIteration:
        break
迭代器问题1:  在一个迭代器取值取干净的情况下,再对其取值取不到

d={'a':1,'b':2,'c':3}
d_iterator=d.__iter__()  # 先把可迭代对象, 转换成迭代器对象


while True:
    try:
        print(d_iterator.__next__())
    except StopIteration:
        break

print('====>>>>>>') # 对同一个迭代器取值取干净的情况下,再对其取值取不到
d_iterator=d.__iter__() # 除非重新构建一个迭代器
while True:
    try:
        print(d_iterator.__next__())
    except StopIteration:
        break

>>
a
b
c
====>>>>>>

Process finished with exit code 0

对于有索引的数据类型, 也可以用迭代器取值

l=[1,2,3,4,5]
l_iterator=l.__iter__()

while True:
    try:
        print(l_iterator.__next__())
    except StopIteration:
        break
总结: 有了迭代器后, 对于有索引和没有索引的数据类型, 都可以用迭代器统一取值
迭代器问题2: 结合while循环, 调iter方法把数据转换成迭代器版本, 需要手动转换并且还要捕捉异常, 十分繁琐 >> for循环就是用来解决迭代器繁琐的方案
3、可迭代对象与迭代器对象详解
3.1 可迭代对象("可以转换成迭代器的对象"):内置有__iter__方法对象
       可迭代对象.__iter__(): 得到迭代器对象

3.2 迭代器对象:内置有__next__方法并且内置有__iter__方法的对象
       迭代器对象.__next__():得到迭代器的下一个值
       迭代器对象.__iter__():得到迭代器的本身,说白了调了跟没调一个样子
dic={'a':1,'b':2,'c':3}

dic_iterator=dic.__iter__()
print(dic_iterator is dic_iterator.__iter__().__iter__().__iter__())
>> True
之所以对于迭代器对象也创建了__iter__方法, 是为了是for循环在工作时能统一
无论for循环的是可迭代对象, 还是迭代器对象, 都使用__iter__方法, 如果是可迭代对象, 就转换成迭代器对象, 如果是迭代器对象, 那么调__iter__方法相当于没调, 结果还是迭代器对象
4、可迭代对象:字符串、列表、元组、字典、集合、文件对象
   迭代器对象:文件对象
s1=''
s1.__iter__()

l=[]
l.__iter__()

t=(1,)
t.__iter__()


d={'a':1}
d.__iter__()

set1={1,2,3}
set1.__iter__()


with open('a.txt',mode='w') as f:
    f.__iter__()
    f.__next__()
5、for循环的工作原理:for循环可以称之为叫迭代器循环
d={'a':1,'b':2,'c':3}

1、d.__iter__()得到一个迭代器对象
2、迭代器对象.__next__()拿到一个返回值,然后将该返回值赋值给k
3、循环往复步骤2,直到抛出StopIteration异常for循环会捕捉异常然后结束循环
for k in d:
    print(k)
注意: 可迭代对象并不一定是迭代器对象, 但是迭代器对象一定是可迭代对象. 要看有没有要求的方法
       可迭代对象.__iter__(): 得到迭代器对象

 迭代器对象:内置有__next__方法并且内置有__iter__方法的对象
       迭代器对象.__next__():得到迭代器的下一个值
       迭代器对象.__iter__():得到迭代器的本身,说白了调了跟没调一个样子
补充: list() 和 set()
list('hello')也是和for循环原理一样, 三步骤
range()在Python3中是可迭代对象, 不是迭代器对象
.keys()在Python3中是可迭代对象, 不是迭代器对象
6、迭代器优缺点总结
6.1 缺点:
I、为序列和非序列类型提供了一种统一的迭代取值方式。
II、惰性计算:迭代器对象表示的是一个数据流,可以只在需要时才去调用next来计算出一个值,就迭代器本身来说,同一时刻在内存中只有一个值,因而可以存放无限大的数据流,而对于其他容器类型,如列表,需要把所有的元素都存放于内存中,受内存大小的限制,可以存放的值的个数是有限的。

6.2 缺点:
I、除非取尽,否则无法获取迭代器的长度

II、只能取下一个值,不能回到开始,更像是‘一次性的’,迭代器产生后的唯一目标就是重复执行next方法直到值取尽,否则就会停留在某个位置,等待下一次调用next;若是要再次迭代同个对象,你只能重新调用iter方法去创建一个新的迭代器对象,如果有两个或者多个循环使用同一个迭代器,必然只会有一个循环能取到值。

4 生成器

如何得到自定义的迭代器:
在函数内一旦存在yield关键字,调用函数并不会执行函数体代码
会返回一个生成器对象,生成器即自定义的迭代器
def func():
    print('第一次')
    yield 1
    print('第二次')
    yield 2
    print('第三次')
    yield 3
    print('第四次')


g=func()
print(g)
>> <generator object func at 0x0000026D5BD13AC0>
生成器就是迭代器
g.__iter__()
g.__next__()
g.__next__()会触发函数体代码的运行,然后遇到yield停下来,将yield后的值
当做本次调用的结果返回
def func():
    print('第一次')
    yield 1
    print('第二次')
    yield 2
    print('第三次')
    yield 3
    print('第四次')


g=func()
res1=g.__next__()  >> 第一次
print(res1)  >> 1
执行到yield1, 函数会被暂停, 再次执行g.__next__(), 会重启函数的执行
def func():
    print('第一次')
    yield 1
    print('第二次')
    yield 2
    print('第三次')
    yield 3
    print('第四次')


g=func()
res1=g.__next__()  # 第一次
print(res1)  >> 1
res2=g.__next__()  # 第二次
print(res1)  >> 2
res3=g.__next__()  # 第三次
print(res1)  >> 3
此时, 如果再次执行g.__next__(), 由于没有yield, 那也就没有返回值, 会直接报错
res4=g.__next__()
    res4=g.__next__()
StopIteration
补充:
len('aaa') =  'aaa'.__len__()

next(g)    = g.__next__()
iter(可迭代对象)     =  可迭代对象.__iter__()

生成器应用案例

def my_range(start,stop,step=1):
    # print('start...')
    while start < stop:
        yield start
        start+=step
    # print('end....')


# g=my_range(1,5,2) # 1 3
# print(next(g))
# print(next(g))
# print(next(g))

for n in my_range(1,7,2):
    print(n)
自定义的迭代器本身就是一段函数体代码, 本身是没有值得, 只占用很小一部分内存, 但是可以用来生成无穷多个值. 

def add():
    count = 0
    while True:
        yield count
        count += 1     
g=add()  # g就是一个迭代器, 每次执行next功能, 才生成新的值
print(next(g))
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,277评论 6 503
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,689评论 3 393
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,624评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,356评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,402评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,292评论 1 301
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,135评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,992评论 0 275
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,429评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,636评论 3 334
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,785评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,492评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,092评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,723评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,858评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,891评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,713评论 2 354

推荐阅读更多精彩内容