首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    定时自动删除redis key

    当初匆忙上线,设计上有两个主要问题:一是在每个userid的key中存储消息体,从数据库的角度看,存在大量的数据冗余,占用大量存储空间。...二是不设置key的过期时间,使得redis像貔貅一样只进不出,不断膨胀。 由于对用户的群发消息量很大,使得redis几天就内存报警。...但结果是治标不治本,依旧撑不了几天,架不住一个劲地狂发消息啊。不得已只能采用定期删除未读消息的方案来弥补设计缺陷。 2. 实现脚本 delmsg.sh内容如下: #!.../bin/bash cd ~/delmsg/ # 已处理的最大logid,首次为0 max_logid=`cat max_logid.txt` # 从mysql导出三天前的数据,这部分可以删除。...d=`date +'%Y-%m-%d'` mysql -u user1 -p123456 -h 10.10.10.1 -P3306 -D db1 -N -e " select logid, userid

    2.1K30

    Redis 高效删除key

    一、大key删除问题 大key(bigkey)是指 key 的 value 是个庞然大物,例如 Hashes, Sorted Sets, Lists, Sets,日积月累之后,会变得非常大,可能几十上百...渐进式删除 思路: 分批删除,通过 scan 命令遍历大key,每次取得少部分元素,对其删除,然后再获取和删除下一批元素。...示例: 删除大 Hashes 步骤: (1)key改名,相当于逻辑上把这个key删除了,任何redis命令都访问不到这个key了 (2)小步多批次的删除 伪代码: # key改名 newkey = "gc...UNLINK Redis 4.0 推出了一个重要命令 UNLINK,用来拯救 del 删大key的困境。 UNLINK 工作思路: (1)在所有命名空间中把 key 删掉,立即返回,不阻塞。...可以使用渐进式删除,对 Hashes, Sorted Sets, Lists, Sets 分别处理,思路相同,先逻辑删除,对key改名,使客户端无法使用原key,然后使用批量小步删除

    7.3K20

    Redis过期key删除策略

    key的过期时间都保存在过期字典中,如果一个键过期了,那么redis什么时候会被删除呢?...删除策略 (1)惰性删除key进行操作时才进行过期检查,对CPU最为友好,因为只有在不得不做的适合才进行操作,并且只涉及当前的目标key,与其他key无关,不浪费CPU资源 同样也有缺点,它对内存是最不友好的...,如果一个键已经过期,那么只要以后没有对它进行操作,它所占用的内存就不会释放,当这样的key越来越多时,内存浪费就很严重了 Redis当执行任何读写命令时,先调用过期检查函数,如果此key过期,先执行删除操作...(3)AOF重写 和RDB方式的处理过程一样,会先检查key是否过期,过滤掉过期的key 主从复制过程对过期key的处理 (1)master中按照正常的删除策略执行 (2)slave的过期key删除由主服务器控制...: master执行过期key删除操作后,显式向slave发送删除命令,slave在收到删除命令之前,对过期key不做删除,如果收到客户端的命令请求,正常执行命令,收到删除命令后才进行删除

    1.5K70

    redis过期key删除策略

    第一种策略:被动删除 当读/写一个key时,redis首先会检查这个key是否存在,如果存在且已过期,则直接删除这个key并返回nil给客户端。...清理过程如下: 遍历所有的db 从db中设置了过期时间的key的集合中随机检查20个key 删除检查中发现的所有过期key 如果检查结果中25%以上的key已过期,则继续重复执行步骤2-3,否则继续遍历下一个...,而是采用随机采样的方法,每次随机取出特定数量(由maxmemory-samples配置项控制,默认是5个)的key,然后在这些key中执行LRU算法、RANDOM算法、或者是找出TTL时间最小的一个key...使用lazy free删除big key时,和一个O(1)指令的耗时一样,亚毫秒级返回,然后把真正删除key的耗时动作交由bio后台子线程执行。...如RENAME命令,当目标键已存在,redis会先删除目标键,如果这些目标键是一个big key,那就会出现阻塞的性能问题。 此参数设置就是解决这类问题,建议开启。

    1.2K30

    保持Unique Key的逻辑删除方案

    重要的业务数据一般都不会使用物理删除,都是使用一个状态标记deleted实现逻辑删除,但是这种情况下会破坏唯一索引,本位介绍了一些保持唯一索引的方法 除了逻辑删除还有别的替换方案吗?...常见的逻辑删除方案 字段中设置一个字段deleted:0表示未删除,1表示已删除。...但是这种情况,Unique Key会被破坏。...2 这种方式可以保持Unique Key,但是在deleted冲突比较多,需要保证deleted累加 deleted: 0 代表未删除删除时把deleted赋值为自增id id user_id hobby...,还可以知道删除的时间 参考 逻辑删除真的不是一个好的设计 逻辑删除情况下设计唯一索引的方案 逻辑删除的实现方式?

    2.5K20

    Mysql - 删除表时出现: Cannot delete or update a parent row: a foreign key constraint fails

    现象 MySQL删除一张表时出现 ERROR 1217 (23000): Cannot delete or update a parent row: a foreign key constraint...fails 原因 可能是在Mysql中,删除的表和另一张表设置了foreign key的关联,造成无法更新或删除数据; 解决方案 可以通过设置FOREIGN_KEY_CHECKS变量来避免这种情况。...禁用外键约束 SET FOREIGN_KEY_CHECKS = 0; 然后就可以删除表了 删除完成后再启动外键约束 SET FOREIGN_KEY_CHECKS = 1; 查看当前FOREIGN_KEY_CHECKS...的值可用如下命令 SELECT @@FOREIGN_KEY_CHECKS; 注意 这样设置只会影响当前会话, 不会影响全局 若想设置全局变量的话,可以这样写 SET GLOBAL FOREIGN_KEY_CHECKS

    1.8K10

    剖析Redis过期key删除策略

    Marser整理了Redis中对于过期key的几种删除策略。下面Marser来带你装逼带你飞,带你熬翔到天黑。 Redis中过期key删除策略,分为三种:定时删除、定期删除、惰性删除。...1、定时删除 定时删除是在设置key的过期时间的同时,会创建一个定时器(timer)。定时器在key的过期时间来临时,立即执行对key删除操作。...并且创建一个定时器(timer)需要用到Redis服务器中的时间事件,而当前时间事件是用无序链表实现的,查找一个事件的时间复杂度为O(N),并不能高效地处理大量时间事件。...3、惰性删除 惰性删除是定时删除和定期删除的折中处理方案。它放任key过期不管,但是每次获取key时,都会检查取得的key是否过期,如果过期,则删除key;若没有过期,就返回该key的值。...如果一个key已经过期,而这个key又仍然保留在db中,那么只要这个过期key不被删除,它所占用的内存就不会释放。

    1.1K20

    Redis删除特定前缀key的优雅实现

    还在用keys命令模糊匹配删除数据吗?这就是一颗随时爆炸的炸弹! Redis中没有批量删除特定前缀key的指令,但我们往往需要根据前缀来删除,那么究竟该怎么做呢?...,第一个数组元素是用于进行下一次迭代的新游标,而第二个数组元素则是一个数组,这个数组中包含了所有被迭代的元素 上面这个例子的意思是扫描所有前缀为ops-coffee-的key 第一次迭代使用0作为游标,...key的参数,例如上边的ops-coffee 对于一个大的set key,借助sscan使用下边的代码可以实现优雅的批量删除: import redis def del_big_set_key(key_name...') 对于一个大的hash key,则可借助hscan使用下边的代码实现优雅的删除: import redis def del_big_hash_key(key_name): r = redis.StrictRedis...(name=key_name, count=300): r.hdel(key_name, key[0]) del_big_hash_key('ops-coffee') 对于大的有序集合的删除就比较简单了

    2.7K20

    Redis删除特定前缀key的优雅实现

    还在用keys命令模糊匹配删除数据吗?这就是一颗随时爆炸的炸弹! Redis中没有批量删除特定前缀key的指令,但我们往往需要根据前缀来删除,那么究竟该怎么做呢?...,第一个数组元素是用于进行下一次迭代的新游标,而第二个数组元素则是一个数组,这个数组中包含了所有被迭代的元素 上面这个例子的意思是扫描所有前缀为ops-coffee-的key 第一次迭代使用0作为游标,...key的参数,例如上边的ops-coffee 对于一个大的set key,借助sscan使用下边的代码可以实现优雅的批量删除: import redis def del_big_set_key(key_name...') 对于一个大的hash key,则可借助hscan使用下边的代码实现优雅的删除: import redis def del_big_hash_key(key_name): r = redis.StrictRedis...(name=key_name, count=300): r.hdel(key_name, key[0]) del_big_hash_key('ops-coffee') 对于大的有序集合的删除就比较简单了

    10K31

    Redis如何批量删除指定前缀的key

    批量删除指定前缀的Key有两中方法,一种是借助 redis-cli,另一种是通过 SCAN 命令来遍历所有匹配前缀的 key,并使用 DEL 命令逐个删除它们。...redis-cli DEL 其中,your_prefix 是你要删除key 的前缀。...在生产环境中,如果可能的话,最好使用迭代方式删除 key,例如使用 Lua 脚本或者编写程序来执行删除操作,以避免性能问题。...编码方式 在 Redis 中,除了上面的方法,要批量删除指定前缀的 key,你还可以使用 SCAN 命令来遍历所有匹配前缀的 key,并使用 DEL 命令逐个删除它们。...但是,需要注意的是,SCAN 命令是一个游标迭代命令,它可以帮助你逐步遍历大量的 key,从而避免一次性获取所有 key 导致的性能问题。

    5.2K10
    领券