前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >一日一技:如何通过迭代器精简你的代码

一日一技:如何通过迭代器精简你的代码

作者头像
青南
发布2019-10-28 17:29:58
5260
发布2019-10-28 17:29:58
举报
文章被收录于专栏:未闻Code

截图:产品经理

游玩:kingname & 产品经理

假设有一个 Redis 集合,里面有 N 条数据,你不停从里面lpop数据,直到某一条数据的值为'Stop'字符串为止(已知里面必有一条数据为'Stop'字符串,但其位置不知道)。

这个需求看起来很简单,于是你立刻就着手写出了代码:

代码语言:javascript
复制
import redis

client = redis.Redis()

def read_data():
    datas = []
    while True:
        data = client.lpop().decode()
        if data == 'Stop':
            break
        datas.append(data)
    return datas

现在问题来了,如果 Redis 里面的数据非常多,已经超过了你的内存容量怎么办?数据全部放在datas列表里面再返回显然是不可取的做法。

好在,这些数据读取出来以后,会传给一个parse函数,并且这个函数是一条一条处理数据的,它处理完成以后,就可以把数据丢弃了。

于是你可能会这样改写代码:

代码语言:javascript
复制
import redis

client = redis.Redis()

def read_data():
    while True:
        data = client.lpop().decode()
        if data == 'Stop':
            break
        parse(data)

但我们知道,在编码规范和软件工程里面,建议一个函数,它应该只做一件事情,而现在read_data()函数却做了两件事情:1. 从 Redis 里面读取数据。2.调用parse()函数。

那么我们有没有办法把他们区分开来呢?如何让read_data能返回数据,但是又不会把内存撑爆呢?

这个时候,我们就可以使用生成器来解决问题:

代码语言:javascript
复制
import redis

client = redis.Redis()

def read_data():
    while True:
        data = client.lpop().decode()
        if data == 'Stop':
            break
        yield data

def parse_data():
    for data in read_data():
        parse(data)

在这个代码里面,read_data变成了生成器函数,它返回一个生成器,对生成器进行迭代的时候,每次返回一条数据,这一条数据立即传给parse()函数。整个过程源源不断,生生不息。不需要额外创建一个列表用来存放数据。

那么代码还能不能继续简化呢?此时我们就可以使用iter关键字了。

使用了iter关键字的效果如下图所示:

代码语言:javascript
复制
import redis

client = redis.Redis()

def read_data():
    data = client.lpop().decode()
    return data

def parse_data():
    for data in iter(read_data, 'Stop'):
        parse(data)

其中,read_data现在每运行一次只会返回列表最左边的数据。但是当我们直接使用iter(read_data, 'Stop')的时候,就会得到一个迭代器。对这个迭代器进行迭代,相当于在while True里面不停运行read_data函数,直到某一次迭代的时候,read_data函数返回了Stop,就停止。

如果你想炫技的话,还可以进一步简化:

代码语言:javascript
复制
import redis

client = redis.Redis()

def parse_data():
    for data in iter(lambda: client.lpop().decode(), 'Stop'):
        parse(data)

当然,我是不推荐你这样写的^_^。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-10-23,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 未闻Code 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
云数据库 Redis
腾讯云数据库 Redis(TencentDB for Redis)是腾讯云打造的兼容 Redis 协议的缓存和存储服务。丰富的数据结构能帮助您完成不同类型的业务场景开发。支持主从热备,提供自动容灾切换、数据备份、故障迁移、实例监控、在线扩容、数据回档等全套的数据库服务。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档