专栏首页Python中文社区Python生成器的使用技巧详解

Python生成器的使用技巧详解

作者:酱油哥,清华大学计算机硕士,泰康资管/军工央企职场经历。

0.本集概览

1.生成器可以避免一次性生成整个列表 2.生成器函数的运行过程解析及状态保存 3.生成器表达式的使用方法 4.生成器表达式的可迭代特性

之前我们介绍了列表解析式,他的优点很多,比如运行速度快、编写简单,但是有一点我们不要忘了,他是一次性生成整个列表。如果整个列表非常大,这对内存也同样会造成很大压力,想要实现内存的节约,可以将列表解析式转换为生成器表达式。

今天这一集,就单聊生成器。

1.避免一次性生成整个列表

避免一次性生成整个结果列表的本质是在需要的时候才逐次产生结果,而不是立即产生全部的结果,Python中有两种语言结构可以实现这种思路。

一个是生成器函数。外表看上去像是一个函数,但是没有用return语句一次性的返回整个结果对象列表,取而代之的是使用yield语句一次返回一个结果。

另一个是生成器表达式。类似于上一小节的列表解析,但是方括号换成了圆括号,他们返回按需产生的一个结果对象,而不是构建一个结果列表。

这个“按需”指的是在迭代的环境中,每次迭代按需产生一个对象,因此,上述二者都不会一次性构建整个列表,从而节约了内存空间。

2.生成器函数

下面具体结合例子说说生成器函数。

2.1.运行过程分析

首先,我们还没有详细介绍过函数,先简单说一下,常规函数接受输入的参数然后立即送回单个结果,之后这个函数调用就结束了。

但生成器函数却不同,他通过yield关键字返回一个值后,还能从其退出的地方继续运行,因此可以随时间产生一系列的值。他们自动实现了迭代协议,并且可以出现在迭代环境中。

运行的过程是这样的:生成器函数返回一个迭代器,for循环等迭代环境对这个迭代器不断调用next函数,不断的运行到下一个yield语句,逐一取得每一个返回值,直到没有yield语句可以运行,最终引发StopIteration异常。看,这个过程是不是很熟悉。

首先,下面这个例子证实了生成器函数返回的是一个迭代器 代码片段:

def gen_squares(num):
    for x in range(num):
        yield x ** 2

G = gen_squares(5)
print(G)
print(iter(G))

运行结果:

<generator object gen_squares at 0x0000000002402558>
<generator object gen_squares at 0x0000000002402558>

然后再用手动模拟循环的方式来看看生成器函数的运行过程,你会发现和前面介绍过的熟悉场景并无二致。 代码片段:

def gen_squares(num):
    for x in range(num):
        yield x ** 2

G = gen_squares(3)
print(G)
print(iter(G))
print(next(G))
print(next(G))
print(next(G))
print(next(G))

运行结果:

<generator object gen_squares at 0x00000000021C2558>
<generator object gen_squares at 0x00000000021C2558>
0
1
4
Traceback (most recent call last):
 File "E:/12homework/12homework.py", line 10, in <module>
print(next(G))
StopIteration

那这么看,在for循环等真正的使用场景中使用也不难了 代码片段:

def gen_squares(num):
    for x in range(num):
        yield x ** 2

for i in gen_squares(5):
    print(i, end=' ')

运行结果:

0 1 4 9 16

2.2.状态保存

我们进一步来说说生成器函数里状态保存的话题。在每次循环的时候,生成器函数都会在yield处产生一个值,并将其返回给调用者,即for循环。然后在yield处保存内部状态,并挂起中断退出。在下一轮迭代调用时,从yield的地方继续执行,并且沿用上一轮的函数内部变量的状态,直到内部循环过程结束。

关于这个问题,具体可以看看这个例子:

代码片段:

def gen_squares(num):
    for x in range(num):
        yield x ** 2
        print('x={}'.format(x))

for i in gen_squares(4):
    print('x ** 2={}'.format(i))
    print('--------------')

运行结果:

x ** 2=0
--------------
x=0
x ** 2=1
--------------
x=1
x ** 2=4
--------------
x=2
x ** 2=9
--------------
x=3

我们不难发现,生成器函数计算出x的平方后就挂起退出了,但他仍然保存了此时x的值,而yield后的print语句会在for循环的下一轮迭代中首先调用,此时x的值即是上一轮退出时保存的值。

3.生成器表达式

再说说生成器表达式吧。

3.1.使用方法

列表解析式已经是一个不错的选择,从内存使用的角度而言,生成器更优,因为他不用一次性生成整个对象列表,这二者之间如何转化呢?

生成器表达式写法上很像列表解析式,但是外面的方括号换成了圆括号,结果大不同,简单的看看: 代码片段:

print([x ** 2 for x in range(5)])
print((x ** 2 for x in range(5)))

运行结果:

[0, 1, 4, 9, 16]
<generator object <genexpr> at 0x0000000002212558>

方括号是熟悉的列表解析式,一次性返回整个列表,圆括号是生成器表达式,返回一个生成器对象,而不是一次性生成整个列表

3.2.适用于迭代环境

同时他支持迭代协议,适用于所有的迭代环境,略举几个例子: 代码片段:

for x in (x ** 2 for x in range(5)):
    print(x, end=',')

运行结果:

0,1,4,9,16,

代码片段:

print(sum(x ** 2 for x in range(5)))

运行结果:

30

代码片段:

print(sorted((x ** 2 for x in range(5)), reverse=True))

运行结果:

[16, 9, 4, 1, 0]

代码片段:

print(list(x ** 2 for x in range(5)))

运行结果:

[0, 1, 4, 9, 16]

3.3.集合解析式与生成器对象

集合解析式等效于将生成器对象传入到list、set、dict等函数中作为构造参数 代码片段:

set(f(x) for x in S if P(x))
{f(x) for x in S if P(x)}

{key:val for (key, val) in zip(keys, vals)}
dict(zip(keys, vals))

{x:f(x) for x in items}
dict((x, f(x)) for x in items)

本文为作者酱油哥(清华大学计算机硕士,泰康资管/军工央企职场经历)原创编写的《Python编程语言核心基础》小册子中的一篇文章,小册共分12小节。点击下面进入小册子,原创不易,欢迎订阅:

小册目录

第1节:深入剖析 Python 容器的使用方法

第2节:循环迭代与容器遍历用法解析

第3节:详解字符串常见用法

第4节:Python字符编码深入剖析及应用举例

第5节:Python文件操作用法探讨

第6节:Python 动态类型与对象拷贝机制分析

第7节:理顺可迭代对象、迭代器与迭代环境

第8节:生成器的使用技巧详解

第9节:函数的基本特征与变量作用域

第10节:函数参数的传递、修改、匹配与解包过程全解析

第11节:函数闭包与装饰器用法详解

第12节:异常的处理方式

本文分享自微信公众号 - Python中文社区(python-china)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-07-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Python协程演进过程

    Milestone 协程相关的关键字和方法的引入: Python 2.2(2001年)yield Python 2.5(2006年) .send() .thro...

    Python中文社区
  • Python迭代器使用详解

    这一集的内容看起来比较绕,反反复复出现的是迭代二字。大家注意,这一节的内容很pythonic,是很有特色也非常重要的知识点。敲黑板啦!

    Python中文社区
  • 一文读懂Python可迭代对象、迭代器和生成器

    序列可以迭代的原因:iter 函数。解释器需要迭代对象 x 时,会自动调用 iter(x)。内置的 iter 函数有以下作用:

    Python中文社区
  • Python 迭代器、生成器和列表解析

    迭代器在 Python 2.2 版本中被加入, 它为类序列对象提供了一个类序列的接口。 Python 的迭代无缝地支持序列对象, 而且它还允许迭代非序列类型, ...

    py3study
  • Python-生成器

    通过列表生成式,我们可以直接创建一个列表。但是,受到内存限制,列表容量肯定是有限的。而且,创建一个包含100万个元素的列表,不仅占用很大的存储空间,如果我们仅仅...

    PayneWu
  • Python迭代器协议及for循环工作机制详解

    1、迭代器协议是指:对象必须提供一个next方法,执行该方法要么返回迭代中的下一项,要么就引起一个stopiteration异常,已终止迭代(只能往后走不能往前...

    砸漏
  • python生成器和迭代器

    第二,本次迭代的要依赖上一次的结果继续往下做,如果中途有任何停顿,都不能算是迭代。

    用户7886150
  • python3--迭代器,生成器

    现在是从结果分析原因,能被for循环的就是"可迭代的",但是如果按常规想,for怎么知道谁是可迭代的呢?

    py3study
  • itertools模块详解

    tee()创建的迭代器共享其输入迭代器,所以一旦创建了新迭代器,就不应该再使用远迭代器。

    用户2936342
  • python迭代器(函数名的应用,新版格

    s1 = 'asdf' obj = iter(s1) #转化为迭代器 print(obj)#<str_iterator object at 0x000002...

    py3study

扫码关注云+社区

领取腾讯云代金券