python高级篇之生成器与迭代器

1、什么是生成器？

通过列表生成式，我们可以直接创建一个列表。但是，受到内存的限制，列表的容量肯定是有限的。而且，创建一个包含100万个的列表，不仅占用很大的存储空间，如果我们仅仅需要访问前面几个元素，那么后面的绝大部分的元素所占用的空间都白白浪费了。那么我们是否可以在循环的过程中不断推算出后续的元素呢？这样子就不必要创建完整的list了，从而节省了大量的空间。在pythoin中，这种一边循环一边计算的机制，就是生成器。

2、创建生成器方法1

In [3]: L = [x *2 for x in range(5)]

In [4]: L

Out[4]: [0, 2, 4, 6, 8]

In [5]: G = (x *2 for x in range(5))

In [6]: G

Out[6]: at 0x7f8851d88c50>

In [7]:

创建L和G的区别仅在于最外层的[ ]和( )，L是一个列表，而G是一个生成器。我们可以直接打印出L的每一个元素，但我们怎么打印出G的每一个元素呢？如果要一个一个打印出来，可以通过next()函数获得生成器的下一个返回值：

In [7]: next(G)

Out[7]: 0

In [8]: next(G)

Out[8]: 2

In [9]: next(G)

Out[9]: 4

In [10]: next(G)

Out[10]: 6

In [11]: next(G)

Out[11]: 8

In [12]: next(G)

---------------------------------------------------------------------------

StopIteration Traceback (most recent call last)

in ()

----> 1 next(G)

StopIteration:

In [13]: G = (x *2 for x in range(5))

In [14]: for x in G:

...: print(x)

...:

2

4

6

8

In [15]:

生成器保存的是算法，每次调用next(G)，就计算出G的下一个元素的值，直到计算到最后一个元素，没有更多的元素时，抛出StopIteration的异常。当然，这种不断调用next()实在是太变态了，正确的方法是使用for循环，因为生成器也是可迭代对象。所以，我们创建了一个生成器后，基本上永远不会调用next()，而是通过for循环来迭代它，并且不需要关心StopIteration异常。

3、创建生成器方法2

generator非常强大。如果推算的算法比较复杂，用类似列表生成式的for循环无法实现的时候，还可以用函数来实现。

比如，著名的斐波拉契数列（Fibonacci），除第一个和第二个数外，任意一个数都可由前两个数相加得到：

1, 1, 2, 3, 5, 8, 13, 21, 34, ...

斐波拉契数列用列表生成式写不出来，但是，用函数把它打印出来却很容易：

In [15]: def fib(items):

...: n = 0

...: a,b = 0,1

...: while n

...: print(b)

...: a,b = b, a+b

...: n += 1

...: return 'done'

...:

...:

In [16]: fib(5)

Out[16]: 'done'

仔细观察，可以看出，fib函数实际上是定义了斐波拉契数列的推算规则，可以从第一个元素开始，推算出后续任意的元素，这种逻辑其实非常类似generator。

也就是说，上面的函数和generator仅一步之遥。要把fib函数变成generator，只需要把print(b)改为yield b就可以了：

In [19]: def fib(times):

...: n = 0

...: a, b = 0,1

...: while n

...: yield b

...: a,b = b,a+b

...: n += 1

...: return 'done'

In [20]: F = fib(5)

In [21]: next(F)

Out[21]: 1

In [22]: next(F)

Out[22]: 1

In [23]: next(F)

Out[23]: 2

In [24]: next(F)

Out[24]: 3

In [25]: next(F)

Out[25]: 5

In [26]: next(F)

---------------------------------------------------------------------------

StopIteration Traceback (most recent call last)

in ()

----> 1 next(F)

StopIteration: done

在上面fib的例子，我们在循环过程中不断调用yield，就会不断中断。当然要给循环设置一个条件来退出循环，不然就会产生一个无限数列出来。同样的，把函数改成generator后，我们基本上从来不会用next()来获取下一个返回值，而是直接使用for循环来迭代：

In [28]: for i in fib(5):

...: print(i)

...:

但是用for循环调用generator时，发现拿不到generator的return语句的返回值。如果想要拿到返回值，必须捕获StopIteration错误，返回值包含在StopIteration的value中：

In [29]: g = fib(5)

In [30]: while True :

...: try :

...: x = next(g)

...: print("value : %d"%x)

...: except StopIteration as e:

...: print("生成器的返回值:%s"%e.value)

...: break

...:

value : 1

value : 1

value : 2

value : 3

value : 5

生成器的返回值:done

4、Send

举个例子：执行到yield时，gen函数作用暂时保存，返回i的值；temp接收下次c.send(“python”)，send发送过来的值，c.next()等价c.send(None)

In [32]: def gen():

...: i = 0

...: while i

...: temp = yield i

...: print (temp)

...: i += 1

使用next函数

In [33]: f = gen()

In [34]: next(f)

Out[34]: 0

In [35]: next(f)

None

Out[35]: 1

In [36]: next(f)

None

Out[36]: 2

In [37]: next(f)

None

Out[37]: 3

In [38]: next(f)

None

Out[38]: 4

In [39]: next(f)

None

---------------------------------------------------------------------------

StopIteration Traceback (most recent call last)

in ()

----> 1 next(f)

StopIteration:

使用__next__()方法

In [40]: f = gen()

In [41]: f.__next__()

Out[41]: 0

In [42]: f.__next__()

None

Out[42]: 1

In [43]: f.__next__()

None

Out[43]: 2

In [44]: f.__next__()

None

Out[44]: 3

In [45]: f.__next__()

None

Out[45]: 4

In [46]: f.__next__()

None

---------------------------------------------------------------------------

StopIteration Traceback (most recent call last)

in ()

----> 1 f.__next__()

StopIteration:

使用send

In [47]: f = gen()

In [48]: f.__next__()

Out[48]: 0

In [49]: f.send("haoxiang")

haoxiang

Out[49]: 1

In [50]: f.__next__()

None

Out[50]: 2

In [51]: f.send("叁研良语")

叁研良语

Out[51]: 3

5、生成器小总结

生成器是这样一个函数，它记住上一次返回时在函数体中的位置。对生成器函数的第二次（或第n次）调用跳转至该函数中间，而上次调用的所有局部变量都保持不变。

生成器不仅“记住”了它数据状态；生成器还“记住”了它在流控制构造（在命令式编程中，这种构造不只是数据值）中的位置。

生成器的特点：

1、节约内存

2、迭代到下一次的调用时，所使用的参数都是第一次所保留下的，即是说，在整个所有函数调用的参数都是第一次所调用时保留的，而不是新创建的

6、迭代器的基本概念

迭代器是访问集合元素的一种方式。迭代器是一个可以记住遍历位置的对象。迭代器对象从集合的第一个元素开始访问，知道元素被访问结束。迭代器只能前进不能后退。

7、可迭代对象

以直接作用于for循环的数据类型可以有以下几种：

一类是集合数据类型，比如list、tupple、dict、set、str等等。

一类是generator（生成器），包括生成器和带yield的generator function

这些可以直接作用于for循环的对象统称为可迭代对象：Iterable

8、判断是否可以进行迭代

可以利用isinstance()判断一个对象是否是Iterable：

In [52]: from collections import Iterable

In [53]: isinstance([], Iterable)

Out[53]: True

In [54]: isinstance('abc', Iterable)

Out[54]: True

In [55]: isinstance((x for x in range(100)), Iterable)

Out[55]: True

In [56]: isinstance(100, Iterable)

Out[56]: False

In [57]:

运行结果：

而生成器不但可以作用于for循环，还可以被next()函数不断调用并返回下一个值，直到最后抛出StopIteration错误表示无法继续返回下一个值了。

9、迭代器

可以被next()函数调用并不断返回下一个值的对象称为迭代器：Iterator。

可以使用isinstance()判断一个对象是否是Iterator对象：

In [57]: from collections import Iterator

In [58]: isinstance((x for x in range(10)), Iterator)

Out[58]: True

In [59]: isinstance([], Iterator)

Out[59]: False

In [60]: isinstance('abc', Iterator)

Out[60]: False

In [61]: isinstance(100, Iterator)

Out[61]: False

In [62]:

10、iter()函数

生成器都是Iterator对象，但是list、dict、str虽然是可以迭代的，但是他们不是迭代器

把list、dict、str等Iterable变成Iterator可以使用iter()函数：

In [62]: isinstance(iter([]), Iterator)

Out[62]: True

In [63]: isinstance(iter('abc'), Iterator)

Out[63]: True

11、迭代器总结

凡是可作用于for循环的对象都是Iterable类型；

凡是可作用于next()函数的对象都是Iterator类型

集合数据类型如list、dict、str等是Iterable但不是Iterator，不过可以通过iter()函数获得一个Iterator对象。

内容持续更新，喜欢的小伙伴别忘了点赞收藏分享哦！另外劳烦小伙伴帮我们点一下底部广告支持一下我们，好让我们赚个几毛钱！