Python: 对迭代器的小结

迭代器

迭代器是在python2.2中被加入的,它为类序列对象提供了一个类序列的接口。有了迭代器可以迭代一个不是序列的对象,因为他表现出了序列的行为。当在python中使用for循环迭代一个对象时,调用者几乎分辨不出他迭代的是一个迭代器对象还是一个序列对象,因为python让他(迭代器)像一个序列那样操作。

如何迭代

本质上说迭代器是个对象,但是这个对象有个特殊的方法next()(在python3中使用__next__()代替了next方法)。当使用for循环来遍历整个对象时候,就会自动调用此对象的__next__()方法并获取下一个item。当所有的item全部取出后就会抛出一个StopIteration异常,这并不是错误的发生,而是告诉外部调用者迭代完成了,外部的调用者尝试去捕获这个异常去做进一步的处理。

不过迭代器是有限制的,例如

  • 不能向后移动
  • 不能回到开始
  • 也无法复制一个迭代器。

因此要再次进行迭代只能重新生成一个新的迭代器对象。

获取迭代器

1. 对于python内置的可迭代(iterable)对象,可以通过内置的iter()函数来获取相应的迭代器对象。

In [1]: a = [1,2,3,45] In [2]: type(a) Out[2]: list In [3]: a = iter(a) In [4]: type(a) Out[4]: list_iterator

这样就获取了list相应的迭代器对象。

我们来看一下该迭代器对象的属性:

In [5]: dir(a) Out[5]: ['__class__', '__delattr__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__gt__', '__hash__', '__init__', '__iter__', '__le__', '__length_hint__', '__lt__', '__ne__', '__new__', '__next__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__setstate__', '__sizeof__', '__str__', '__subclasshook__'] In [6]:

可见此迭代对象具有两个特殊的成员方法__iter__()和__next__(),这两个方法便是支持迭代器协议所需要实现的方法。其中__iter__()方法返回迭代器对象本身,__next__()方法返回容器的下一个元素,直到结尾抛出StopIteration异常。

我们来测试一下这个list_iterator对象的这两个方法:

__iter__()返回的对象就是迭代器对象本身。

In [1]: a = [1,2,3,45] In [2]: a = iter(a) In [3]: a.__iter__() Out[3]: <list_iterator at 0x3a33f10> In [4]: a Out[4]: <list_iterator at 0x3a33f10> In [5]: a is a.__iter__() Out[5]: True In [6]:

__next__()方法返回容器中的值直到结尾。

In [6]: a.__next__() Out[6]: 1 In [7]: a.__next__() Out[7]: 2 In [8]: a.__next__() Out[8]: 3 In [9]: a.__next__() Out[9]: 45 In [10]: a.__next__() ------------------------------------------ StopIteration Traceback (most recent call last) <ipython-input-10-73aa2c76d676> in <module>() ----> 1 a.__next__() StopIteration: In [11]:

2. 创建迭代器对象

除了使用iter()函数将内置的序列对象转换成相应的迭代器,我们可以自己实现迭代器协议创建迭代器对象,要实现迭代器协议也就是要在类中实现__iter__()和__next__()方法。

下面我写一个与list_iterator相同行为的迭代器:

class ListIter(object): def __init__(self, data): self.__data = data self.__count = 0 def __iter__(self): return self def __next__(self): if self.__count < len(self.__data): val = self.__data[self.__count] self.__count += 1 return val else: raise StopIteration

我们就可以使用for循环来遍历这个迭代器了:

In [16]: a = ListIter([1,2,3,4,5]) In [17]: for i in a: ....: print(i) ....: 1 2 3 4 5 In [18]:

对于迭代器对象,使用for循环遍历整个数组其实是个语法糖,他的内部实现还是通过调用对象的__next__()方法。

实际上他内部的工作原理应该是这样的:

a = ListIter([1, 2, 3, 4, 5]) while True: try: i = a.__next__() except StopIteration: break // do something in for loop print(i)

迭代器支持多次迭代

正如前面所说的迭代器对象不支持重新迭代,也就是同一个迭代器对象无法多次迭代,如:

In [19]: a = ListIter([1,2,3,4,5]) In [20]: [i for i in a] Out[20]: [1, 2, 3, 4, 5] In [21]: [i for i in a] Out[21]: [] In [22]:

可见,当我再次迭代迭代器a的时候便只返回了空列表,这是因为for循环直接捕获了StopIteration异常。如果要再次迭代生成列表的话只能重新生成一个新的迭代器对象。

为了能够解决这个问题,可以分别定义一个可迭代对象(iterables)和迭代器对象(iterator).

插入小插曲:

对于可迭代对象和迭代器对象,我的理解是:

可迭代对象是实现了__iter__()方法的对象,__iter__()可以返回一个迭代器对象。

迭代器对象是实现了__next__()方法的对象,其中他的__iter__()返回的是迭代器对象本身。

我把代码做了修改,如下:

class ListIterable(object): def __init__(self, data): self.__data = data def __iter__(self): print("call iterable __iter__().") return ListIterator(self.__data) class ListIterator(object): def __init__(self, data): self.__data = data self.__count = 0 def __iter__(self): print("call iterator __iter__().") return self def __next__(self): print("call iterator __next__().") if self.__count < len(self.__data): val = self.__data[self.__count] self.__count += 1 return val else: raise StopIteration

为了知道python何时调用__iter__()方法,我添加了一个printf函数来做标记。

现在把这两个类导入到当前空间中:

In [1]: from list_iter import * In [2]: a = ListIterable([1,2,4,5,6]) In [3]: b = a.__iter__() call iterables __iter__(). In [4]: a Out[4]: <list_iter.ListIterable at 0x39446d0> In [5]: b Out[5]: <list_iter.ListIterator at 0x39447b0> In [6]:

可见a是iterable对象(实现了__iter__()),b是iterator对象(实现了__next__())。

下面看看这样做是不是就可以重复多次迭代了:

In [6]: [i for i in a] call iterable __iter__(). call iterator __next__(). call iterator __next__(). call iterator __next__(). call iterator __next__(). call iterator __next__(). call iterator __next__(). Out[6]: [1, 2, 4, 5, 6] In [7]: [i for i in a] call iterable __iter__(). call iterator __next__(). call iterator __next__(). call iterator __next__(). call iterator __next__(). call iterator __next__(). call iterator __next__(). Out[7]: [1, 2, 4, 5, 6] In [8]:

重复迭代是可以了,从输出中我们可以看出一些什么来

  1. 我们在使用迭代工具对iterable对象进行迭代的时候首先调用的是iterable的__iter__()方法,返回一个迭代器对象,也就是ListIterator的实例。
  2. 然后再遍历的时候是调用iterator的next方法输出值。这样就可以解释了为什么这样处理能够多次迭代了,因为每次使用迭代工具迭代的时候都会调用__iter__()返回一个新的迭代器对象,这样就相当于创建多个迭代器了,自然可以看起来是重复迭代了!

可变对象和迭代器

在迭代可变对象时候,一个序列的迭代器只是记录当前到达了序列中的第几个元素,所以如果在迭代过程中改变了序列的元素。更新会立即反应到所迭代的条目上。

我写了个测试看了下,的确:

In [13]: c = [1,2,3,4,5] In [14]: d = iter(c) In [15]: for i in c: ....: print(i) ....: c.remove(i) ....: 1 3 5

可见上面边迭代边删除列表的元素,但是最后却只输出了1, 3, 5,这是为啥?

既然迭代器只记得是在列表中第几个元素,那么当在第0个元素的时候将会输出1然后删除1,这是列表变成了

[2, 3, 4, 5]

但是迭代器记得我是在第二个位置上面,就指向了列表中的第二个位置上,也就是3,然后输出3.

以此类推,最后只能输出1,3,5了。

如果我猜测的没错的话,剩余的列表应该只剩下2和4了:

In [17]: c Out[17]: [2, 4]

果然!

以上就是我对python中迭代器方面的一点小总结。

原文发布于微信公众号 - 机器学习算法与Python学习(guodongwei1991)

原文发表时间:2016-06-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏python3

python 迭代器

一类是generator,包括生成器和带yield的generator function。

9810
来自专栏闵开慧

java归并排序(最精简代码)

public class MergeSortTest { public void sort(int[] array, int left, int right)...

41150
来自专栏ccylovehs

JavaScript 深入之从原型到原型链

在这个例子中, Person 就是一个构造函数,我们使用 new 创建了一个实例对象 person 。 很简单吧,接下来进入正题:

44340
来自专栏ShaoYL

【C语言】指针

61760
来自专栏鸿的学习笔记

Python和Scala的操作符

在聊完类和对象之后,我们要理解一件事,无论是在Scala还是Python,每一个值都是对象,在某种程度上来说,这两门语言都是更加纯粹的面向对象的语言。两者也都支...

6720
来自专栏xiaoxi666的专栏

【非原创】C++类成员函数的重载、覆盖和隐藏

B、重载是指派生类函数覆盖基类函数,函数相同,参数相同,基类函数必须有virtual关键字

9420
来自专栏xiaoxi666的专栏

STL中sort排序算法第三个参数_Compare的实现本质

关于C++ STL vector 中的sort排序算法有三种自定义实现,它们本质上都是返回bool类型,提供给sort函数作为第三个参数。

20420
来自专栏Vamei实验室

Java进阶04 RTTI

运行时类型识别(RTTI, Run-Time Type Identification)是Java中非常有用的机制,在Java运行时,RTTI维护类的相关信息。 ...

20970
来自专栏猿人谷

cctype

在头文件<ctype.h>中定义了一些测试字符的函数。在这些函数中,每个函数的参数都是整型int,而每个参数的值或者为EOF,或者为char类型的字符。<cty...

19980
来自专栏Python疯子

python列表,字典排序使用小知识点

14670

扫码关注云+社区

领取腾讯云代金券