专栏首页未闻Code一日一技:实现有过期时间的LRU缓存

一日一技:实现有过期时间的LRU缓存

摄影:产品经理

下厨:kingname

一日一技:实现函数调用结果的 LRU 缓存一文中,我们提到Python自带的LRU缓存lru_cache。通过这个装饰器可以非常轻松地实现缓存。

现在我们考虑下面这个应用场景:MongoDB中有100对id-用户名的对应关系,我从Redis中持续不断读取id,如果id能在MongoDB中找到对应关系,那么就把对应的用户名打印出来。如果找不到对应关系,那么就把这个id丢弃。

为了防止频繁读取MongoDB,我在程序开始的时候直接读取这一百对对应关系,并存为字典:

import pymongo
import redis

client = redis.Redis()
handler = pymongo.MongoClient().weibo.id_name_map


def read_id_name_map():
    id_name = {}
    for row in handler.find():
        id_name[row['id']] = row['name']
    return id_name


id_name_map = read_id_name_map()
while True:
    data = client.blpop('weibo_id')
    user_id = data[1].decode()
    if user_id in id_name_map:
        print(id_name_map[user_id])

大家可以思考一下,上面这段代码有没有什么问题。然后继续看后面。

如果我现在需要再增加100个id-用户名的对应关系怎么办?

由于这个程序运行以后就一直阻塞式地读取Redis,不会停止,所以整个过程只会读取一次MongoDB。后面即使我向MongoDB中添加了新的对应关系,只要程序不重启,就无法读取到新的对应关系。

肯定有同学想到,在while循环里面增加一个计时器,每x分钟就重新调用一下read_id_name_map()函数,更新对应关系。

不过今天我们要讲的是另一个更有创意的办法,使用lru_cache来实现。

对于这个例子来说,lru_cache的maxsize参数只需要设置为1,因为只需要存放1份对应关系即可。那么我们如何做到,比如每10分钟更新一次呢?我们知道,在使用lru_cache时,如果调用同一个函数,并且传入的参数相同,那么从第二次开始就会使用缓存。现在我们如何让时间在每10分钟内相同呢?

我们来看现在的时间戳:1578399211.30042

它除以600,值是1578399211.30042 // 600 = 2630665.0。然后我让这个时间戳加5分钟,也就是增加300秒,变成1578399511.30042。这个新的时间戳再除以600,发现结果还是2630665.0。但如果原来的时间戳增加超过10分钟,例如增加了601秒,我们再来看看效果(1578399211.30042 + 601) // 600 = 2630666.0,此时的结果也发生了变化。

利用这个特点,修改一下我们的代码:

import pymongo
import redis
import time
from functools import lru_cache

client = redis.Redis()
handler = pymongo.MongoClient().weibo.id_name_map


@lru_cache(maxsize=1)
def read_id_name_map(_):
    id_name = {}
    for row in handler.find():
        id_name[row['id']] = row['name']
    return id_name


while True:
    data = client.blpop('weibo_id')
    id_name_map = read_id_name_map(time.time() // 600)
    user_id = data[1].decode()
    if user_id in id_name_map:
        print(id_name_map[user_id])

现在,我们直接在while循环内部调用read_id_name_map,如果两次调用的时间间隔小于600秒,那么time.time() // 600的值是相同的,第二次直接使用缓存,也就不会查询MongoDB了。当时间超过10分钟后,时间戳除以600的值增加了,于是缓存没有命中,进入查询MongoDB的过程,更新id_name_map。实现了有过期时间的LRU缓存。

补充:可能有同学注意到定义read_id_name_map函数的时候,参数我写的是下划线。这是Python 编码规范中建议的一种写法。当一个变量不会被使用,但又需要保留时,就可以用下划线表示。

本文分享自微信公众号 - 未闻Code(itskingname),作者:kingname

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-01-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 一日一技:用Python如何正确开发命令行交互程序

    这种方式确实可以达到目的。但 Python 实际上有专门用来实现这个目的的模块,叫做cmd。这是 Python 自带的。

    青南
  • 使用Airtest超快速开发App爬虫

    想开发网页爬虫,发现被反爬了?想对 App 抓包,发现数据被加密了?不要担心,使用 Airtest 开发 App 爬虫,只要人眼能看到,你就能抓到,最快只需要2...

    青南
  • 一日一技:在Python开发中,如何让Java程序员抓狂

    在Python的编程规范中,只有类名应该使用驼峰命名法,而变量、函数名、属性、方法都应该使用小写字母加下划线分割。

    青南
  • SpringBoot系列教程JPA之指定id保存

    前几天有位小伙伴问了一个很有意思的问题,使用 JPA 保存数据时,即便我指定了主键 id,但是新插入的数据主键却是 mysql 自增的 id;那么是什么原因导致...

    一灰灰blog
  • 获取字段的元数据

    用户2657851
  • DiscuzX2.5数据库字典

    pre_common_admincp_cmenu – 后台菜单收藏表 title => ‘菜单名称’ url => ‘菜单地址’ sort => ’0′ COM...

    joshua317
  • Enum

    Enum是一种受限制的类,编译时IDE会为enum生成一个相关的类,这个类继承自 java.lang.Enum,且具有自己的方法

    Howl
  • mongodb11天之屠龙宝刀(六)mapreduce:mongodb中mapreduce原理与操作案例

    mongodb11天之屠龙宝刀(六)mapreduce:mongodb中mapreduce原理与操作案例 一 Map/Reduce简介 MapReduc...

    学到老
  • python3中报错的解决方法(长期更新) 原

    出错原因:安装DjangoUeditor库适用于python2,需要下载适用python3的

    晓歌
  • HTML5新特性

    本章的主要内容有: ---- [1] 用于媒体回放的 video 和audio 元素 [2] HTML5拖放 [3] canvas简单应用 [4] Web存储:...

    echobingo

扫码关注云+社区

领取腾讯云代金券