专栏首页志学Python爬虫 (二十三) python 迭代器详解 (十四)

爬虫 (二十三) python 迭代器详解 (十四)

长文预警 阅读约 5 分钟

相信如果你慢慢把这篇文章读完,然后加以实践,你会对 python 文件操作会有很大的理解,加油看完哦

经过上面三节,穿插讲了一下 HTTP 的知识点,以及浏览器的界面资源的获取,以及运行过程,我们可以收获到很多东西,如果没有好好看的伙伴可以趁热打铁

客户端浏览器一次http完整请求过程流程图(图文结合诠释请求过程)

网络基础HTTP协议进化篇

网络基础意淫篇

迭代器

实现了迭代器协议的对象,称为迭代器。

1 迭代器协议:   对象必须提供一个next方法,执行该方法要么返回迭代中的下一项,要么返回一个异常来终止本次迭代。(只能往前走,不能往后退!) 2 可迭代对象:   遵循了(实现了)迭代器协议的对象。(对象内部定义了一个__iter__()方法,以实现迭代器协议)   所以:列表、元组、字典、字符串等等的都不是可迭代对象,当用for循环遍历的时候,其实for先去执行了l.__iter__()方法,将列表、   元组、字符串等变成一个可迭代的对象,在进行迭代。(__iter__()下有__next__()方法!) 3 可迭代对象和迭代器的关系   协议是一种约定,可迭代对象实现了迭代器协议,python的内部工具(如for循环,sum,min,max函数等)使用迭代器协议访问对象。 for 循环的本质:遍历所有对象,全都是使用迭代器协议。   for 循环就是基于迭代器协议提供了一个统一的可以遍历所有对象的方法,即在遍历之前,先调用对象的__iter__方法将其转换成一个迭代器,   然后使用迭代器协议去实现循环访问,这样所有的对象就都可以通过for循环来遍历了,   列表,字符串,元组,字典,集合,文件对象等本质上来说都不是可迭代对象,在使用for循环的时候内部是先调用他们内部的_iter_方法,使   他们变成了可迭代对象,然后在使用可迭代对象的_next_方法依次循环元素,当元素循环完时,会触发StopIteration异常,for循环会捕捉   到这种异常,终止迭代

for i in100:
    print(i)

int整型不是iterable,即int整型不是可以迭代的

我们自定义一个容器MyList用来存放数据,可以通过add方法向其中添加数据

classMyObject(object):
def __init__(self):
self.container = []
def add(self, item):
self.container.append(item)

MyList容器的对象也是不能迭代的

我们把可以通过for...in...这类语句迭代读取一条数据供我们使用的对象称之为可迭代对象(Iterable)**

我们自定义了一个容器类型MyList,在将一个存放了多个数据的MyList对象放到for...in...的语句中,发现for...in...并不能从中依次取出一条数据返回给我们,也就说我们随便封装了一个可以存放多条数据的类型却并不能被迭代使用

2. 如何判断一个对象是否可以迭代

可以使用 isinstance() 判断一个对象是否是 Iterable 对象:

3. 可迭代对象的本质

我们已经知道可以对list、tuple、dict、set、str等类型的数据使用for...in...的循环语法从其中依次拿到数据进行使用,我们把这样的过程称为遍历,也叫迭代。

把可以通过for...in...这类语句迭代读取一条数据供我们使用的对象称之为可迭代对象(Iterable)

# 这回测试发现添加了__iter__方法的mylist对象已经是一个可迭代对象了

4. iter()函数与next()函数

list、tuple等都是可迭代对象,我们可以通过iter()函数获取这些可迭代对象的迭代器。然后我们可以对获取到的迭代器不断使用next()函数来获取下一条数据。iter()函数实际上就是调用了可迭代对象的__iter__方法

注意,当我们已经迭代完最后一个数据之后,再次调用next()函数会抛出StopIteration的异常,来告诉我们所有数据都已迭代完成,不用再执行next()函数了。**

5. 如何判断一个对象是否是迭代器

可以使用 isinstance() 判断一个对象是否是 Iterator 对象:

6. 迭代器Iterator

迭代器就是不但可以作用于for循环,还可以被next()不断的调用并返回下一个值,知道最后抛出一个错误StopIteration错误,表示无法继续返回下一个值

一个实现了iter方法和next方法的对象,就是迭代器

class MyList(object):
"""自定义的一个可迭代对象"""
def __init__(self):
self.items = []

def add(self, val):
self.items.append(val)

def __iter__(self):
        myiterator = MyIterator(self)
return myiterator

class MyIterator(object):
"""自定义的供上面可迭代对象使用的一个迭代器"""
def __init__(self, mylist):
self.mylist = mylist
# current用来记录当前访问到的位置
self.current = 0

def __next__(self):
if self.current < len(self.mylist.items):
            item = self.mylist.items[self.current]
self.current += 1return item
else:
raise StopIteration

def __iter__(self):return self

if __name__ == '__main__':
    mylist = MyList()
    mylist.add(1)
    mylist.add(2)
    mylist.add(3)
    mylist.add(4)
    mylist.add(5)
for num in mylist:
print(num)

7. for...in...循环的本质

for item in Iterable 循环的本质就是先通过iter()函数获取可迭代对象Iterable的迭代器,然后对获取到的迭代器不断调用next()方法来获取下一个值并将其赋值给item,当遇到StopIteration的异常后循环结束

8. 迭代器的应用场景

我们发现迭代器最核心的功能就是可以通过next()函数的调用来返回下一个数据值。如果每次返回的数据值不是在一个已有的数据集合中读取的,而是通过程序按照一定的规律计算生成的,那么也就意味着可以不用再依赖一个已有的数据集合,也就是说不用再将所有要迭代的数据都一次性缓存下来供后续依次读取,这样可以节省大量的存储(内存)空间。

举个例子,比如,数学中有个著名的斐波拉契数列(Fibonacci),数列中第一个数为0,第二个数为1,其后的每一个数都可由前两个数相加得到:

0, 1, 1, 2, 3, 5, 8, 13, 21, 34, ...

class FibIterator(object):
"""斐波那契数列迭代器"""def __init__(self, n):
"""        :param n: int, 指明生成数列的前n个数
        """
self.n = n
# current用来保存当前生成到数列中的第几个数了
self.current = 0
# num1用来保存前前一个数,初始值为数列中的第一个数0
self.num1 = 0
# num2用来保存前一个数,初始值为数列中的第二个数1
self.num2 = 1

def __next__(self):
    """被next()函数调用来获取下一个数"""    if self.current < self.n:            num = self.num1
self.num1,self.num2 = self.num2,self.num1+self.num2
self.current += 1return numelse:
    raise StopIteration
    def __iter__(self):    """迭代器的__iter__返回自身即可"""    return self

if __name__ == '__main__':
    fib = FibIterator(10)
for num in fib:
print(num, end=" ")

9. 并不是只有for循环能接收可迭代对象

除了for循环能接收可迭代对象,list、tuple等也能接收。

li = list(FibIterator(15))
print(li)
tp = tuple(FibIterator(6))
print(tp)

请继续关注我

最重要的一点就是如果您觉得对您有帮助,希望可以点个在看,或者点一点文章中最下面的广告,给小编我加个鸡腿,毕竟小编写文章也是很辛苦的,非常感谢

本文分享自微信公众号 - 志学Python(gh_755651538c61),作者:志学Python

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-01-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 爬虫 (十八) 如何通过反编译理解 for 循环 (十)

    前面的基本运算符加减乘除等运算符内容,我们就不讲了,我觉得最应该讲讲就是 for 循环运算符这东西,真的是需要我们去好好探讨一下的,记得关注点赞哦,谢谢

    公众号---志学Python
  • python 中的 组合

    组合是一个面向对象的设计概念,模型a是有关系的。在composition中,一个称为composite的类包含另一个称为component的类的对象。换句话说,...

    公众号---志学Python
  • vue.extend()学习

    公众号---志学Python
  • 插入、流和反向迭代器

    用于向容器插入元素,一共有三种,back_inserter,front_insert和inserter;

    Enterprise_
  • 【Python 第75课】可迭代对象和迭代器

    for 循环是我们在 Python 里非常常用的一个语法,但你有没有思考过 for 循环是怎样实现的?

    Crossin先生
  • 23种设计模式之迭代器模式

    其实, 现在基本上所有的高级语言都实现了迭代器, 基本上跟很少有项目再独立写迭代器了.

    烟草的香味
  • 一步一步搭建前端监控系统:如何将网页截图上报?

    PS:本文关于Fundebug录屏功能的内容有些不准确的地方,比如录屏并非通过截图实现的,录屏插件的BUG也已经修复了,录屏并非只支持Chrome,录屏数据并不...

    Fundebug
  • 【小家java】java8新特性之---外部迭代和内部迭代(对比性能差异)

    最传统的方法是用Iterator,当然还以用for i、增强for循环等等。这一类方法叫做外部迭代,意为显式地进行迭代操作,即集合中的元素访问是由一个处于集合外...

    YourBatman
  • GANs有嘻哈:一次学完10个GANs明星模型(附视频)

    以“左右互搏”的观念为人所知,GANs从概念开始就让人激动不已。不过从GANs被提出的第一天起,深度学习圈就出了个“大坑”,而且越挖越大、完全没有被填满的趋势。

    大数据文摘
  • 黑客最想要的礼物!看完我眼红了 你呢?

    有个黑客朋友(其实在做安全)马上要过生日了,问他想要什么礼物,然后,他丢给了我上面这张图,留言“看着图买”。

    闫小林

扫码关注云+社区

领取腾讯云代金券