首页
学习
活动
专区
圈层
工具
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Redis 高效删除大key

    一、大key的删除问题 大key(bigkey)是指 key 的 value 是个庞然大物,例如 Hashes, Sorted Sets, Lists, Sets,日积月累之后,会变得非常大,可能几十上百...示例: 删除大 Hashes 步骤: (1)key改名,相当于逻辑上把这个key删除了,任何redis命令都访问不到这个key了 (2)小步多批次的删除 伪代码: # key改名 newkey = "gc...:hashes:" + redis.INCR( "gc:index" ) redis.RENAME("my.hash.key", newkey) # 每次取出100个元素删除 cursor = 0 loop...删除 while redis.LLEN(newkey) > 0 redis.LTRIM(newkey, 0, -99) end 删除大 Sets 伪代码: # key改名 newkey = "gc:hashes...可以使用渐进式删除,对 Hashes, Sorted Sets, Lists, Sets 分别处理,思路相同,先逻辑删除,对key改名,使客户端无法使用原key,然后使用批量小步删除。

    7.5K20

    爬虫的去重

    : seen_hashes.add(hash_value) unique_list.append(data) return unique_list...然后,我们定义了一个remove_duplicates函数,该函数接受一个数据列表,并使用一个集合seen_hashes来存储已经遇到的哈希值。...对于列表中的每个数据项,我们计算其哈希值,如果该哈希值尚未出现在seen_hashes集合中,我们将其添加到集合中,并将数据项添加到结果列表unique_list中。最后,我们返回去重后的结果列表。...然后,我们定义了一个remove_duplicates函数,该函数接受一个数据列表,并使用一个集合seen_hashes来存储已经遇到的Simhash值。...如果该Simhash值尚未出现在seen_hashes集合中,我们将其添加到集合中,并将数据项添加到结果列表unique_list中。最后,我们返回去重后的结果列表。

    35444
    领券