前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >如何在Redis里按模式删除数据

如何在Redis里按模式删除数据

作者头像
LA0WAN9
发布于 2021-12-14 00:18:05
发布于 2021-12-14 00:18:05
47900
代码可运行
举报
文章被收录于专栏:火丁笔记火丁笔记
运行总次数:0
代码可运行

一台Redis服务器在很短的时间里消耗了几十个G的内存,最终因为SWAP而宕机。因为这台服务器的社会背景比较复杂,所以一时无法判断犯罪嫌疑人到底是谁。

最开始的直觉是认为肯定有人保存了大体积的数据,于是问题就变成了找出哪些键占用的空间比较大,DBA同事用了redis-rdb-tools等工具来分析数据文件。可惜的是虽然找到了一些大体积的键,但最终都排除了嫌疑,问题似乎陷入了僵局。

在被直觉带入死胡同之后,我们开始调整调查的角度:即便一个键本身占用的空间并不大,但是如果相同模式的键数量很多的话,那么合计起来一样会占用大量空间,于是问题就变成了找出哪些相同模式的键占用的空间比较大。这次我不想用什么工具,而是打算在测试服务器上一边删除可疑键一边查看内存变化情况:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
shell> /path/to/redis-cli keys foo:* | xargs /path/to/redis-cli del

悲催的是一运行这个命令服务器就挂了!因为数据太多了,所以KEYS受不了。此时应该使用SCAN,它有游标的概念,每次迭代只涉及很少的数据。

直接在命令行使用SCAN有些麻烦,于是我用了PHP

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
<?php

$redis = new Redis();
$redis->setOption(Redis::OPT_SCAN, Redis::SCAN_RETRY);

$match = 'foo:*';
$count = 10000;

while ($keys = $redis->scan($it, $match, $count)) {
    $redis->del($keys);
}

?>

在删除的同时注意监控内存变化情况,就能确认问题了:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
shell> watch -d -n 1 '/path/to/redis-cli info | grep memory'

至于可疑键的获取,我是瞎蒙的,简单通过MONITOR或者SCAN获取采样数据即可,另外从此案例看,监控键总数的变化幅度是很重要的,从INFO里能拿到它。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2014-04-11,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验