专栏首页CSDN技术头条Redis:MySQL 算老几?

Redis:MySQL 算老几?

作者:刘欣

来源:微信公众号“码农翻身”

我知道 MySQL 看我不顺眼,不就是他的好基友 Tomcat 不怎么搭理他了吗? 这能怪我? 谁让他那么慢?

张大胖把我 Redis 安排到这个系统中来,那就是为了提升系统的响应速度,我把数据都暂时放到了内存中,每当 Tomcat 需要的时候直接拿走就是了,都不用联系 MySQL。只有我这里没有数据的时候 Tomcat 才会给 MySQL 说一句:“哥们,把这个 SQL 执行一下啊,把数据告诉我!”

MySQL 不死心,不断使坏,总想着把我给干掉,恢复他昔日的荣耀和地位。可历史的车轮滚滚向前,想逆潮流而动,无异于螳臂挡车啊!

有时候我真想把我缓存中的数据删除,让高并发的访问都压到他那里去, 累死他! 可一想到自己的职业道德,尤其是张大胖那可怜样,还是忍了吧。

黑客攻击?

这一天中午,Tomcat 发现流量有些异常,之前大部分的数据我都可以处理,这一次大量的请求在我 Redis 这里竟然获取不到数据! Tomcat 被迫向 MySQL 求援:“哥们,这儿有一个 SQL 啊, 这儿还有一个, 又来一个......”

MySQL 刚开始非常高兴,满心欢喜地去执行,可是他很快就发现事情不对, 执行完这些 SQL,在数据库中也查不到数据。他不满地对 Tomcat 说:“兄弟,你这是在折腾我吗? 你看看你这个 SQL 中 where ID = xxxx,这些 ID 在数据库都不存在嘛。”

Tomcat 头也不抬:“又来一个 SQL,还有一个......”

让我比较佩服的是, MySQL 还是比较职业的,尽管有怨气,他还是不折不扣地执行,很快他就累到了。

整个系统慢如蜗牛,连正常的请求也处理不了。

张大胖赶紧介入,经过一番调查,他发现很多请求故意去查询那些一定不存在的数据,缓存中肯定没有,于是请求一定会发到 MySQL 去执行,在流量大时,MySQL 就挂掉了。

换句话说:在黑客的精心算计之下,我这个缓存成了摆设,缓存被穿透了!

张大胖把此事定性为黑客攻击。

缓存空值

这一次,MySQL 终于意识到了我的价值,他出了一个主意:“Redis 同学,你把那些不存在的 key 和对应的空值也缓存下来不就行了?下次访问,就直接返回一个 null 给这些黑客,别再来找我了。”

我一听就知道这是个馊主意:“这些 key 在你那里都不存在,还让我缓存,那不就是要浪费我的空间吗? 张大胖给我分配的空间是有限的啊。”

“你不是可以设定数据的有效期嘛,比如过 3 分钟就过期,删除它,空间不就腾出来了。”

“那在这三分钟内,如果这个 key 对应的数据真的被加入到了你 MySQL 当中,那岂不就不一致了?!” 我问道。

MySQL 说道:“如果发生这种情况,就可以想办法清除掉缓存中的数据,只是程序逻辑就变得复杂了......”

“退一步来说,假设我缓存了他们,那黑客完全可以换一些新的key来攻击啊!缓存中还是没有,还得去你那里查,这个办法不妥!” 我下了结论。

布隆过滤器

MySQL 说:“如果能事先得知这个 key 是不是在数据库存在就好了,可是想知道是否存在,那就得把所有的 key 都放到缓存中,Redis,你能受得了吗?”

我当然受不了。

Tomcat 眼前一亮:“你们听说过布隆过滤器没有?”

我说:“当然知道了,这是个神奇的数据结构,只需要极少的空间就可以判断一个元素是不是在一个集合之内,这正好是我们所需要的场景啊:判断 key 是否存在。”

Tomcat 说:“对,比如我们可以把所有的用户 ID 建立一个布隆过滤器,这样当那些黑客的请求过来以后,先用这个过滤器拦截一下,如果黑客要访问的用户 ID 不在这个过滤器中,我们就直接把他踢出去了。”

MySQL 也是经验丰富:“可是这个 Bloom Filter 有误报啊,即使某个用户 ID 不在集合中,他也可能报告说在集合中。这个时候 Tomcat 就认为这是一个合法的用户 ID,就去 Redis 中查,不存在,然后到我这里查,还是不存在。”

我说:“哎呀,一定的误报也是允许的,没有完美的事情,总要付出代价不是?”

大家都表示同意。

数据失效

黑客的攻击的威胁解除了,日子又恢复了平静,MySQL 意识到了我的价值,也不再唠唠叨叨了。

我这个缓存的容量是有限的,不可能无限制地增加,所以张大胖添加到缓存的数据有一个有效期,过了有效期,我就会把他删除,腾出空间,让别的数据使用。

如果是普通的缓存数据失效,那就罢了,大不了从数据库中再去一次就是了。

可是这一次,有个超级热门的数据失效了,Tomcat 组成的集群中有无数的线程都问我要数据,当我告诉他们这个数据已经失效以后,他们扭头便转向 MySQL,疯狂地发出 SQL 语句,问 MySQL 要数据。

MySQL 傻眼了,这么多的线程,每个要发出的 SQL 都是相同的,可是又不得不执行。

MySQL 又一次累倒了,我想他再次体会到了我的重要性。

他对 Tomcat 说道:“兄弟,给我发这么多的一模一样的 SQL,你想累死我啊! 你就不能控制一下?只让一个线程发查询过来,让其他的等待一下? 那个线程取到数据以后,其他线程就可以从缓存取了!”

Tomcat 觉得很有道理,可是现在系统中有多个 Tomcat,每个都是平等的,怎么去选出那个唯一的线程呢?

如果是在同一个 JVM 中还好办,轻轻松松用一把进程内的锁搞定, 可是这分布式的 Tomcat,每个都是一个 JVM,每个都是一个进程, 怎么搞?

我说:“这很简单,我 Redis 这里可以提供一个分布式的锁,谁获得了这把锁,谁就可以访问数据库。”

MySQL 佩服地说:“老弟真是不错,我服了你了,以后你一定要尽可能的把流量都给挡住,别往我这里发了,实在是太可怕了!”

Tomcat 补充到:“是啊,这 Redis 缓存太重要了!”

突然间他注意到了我还只有一台机器: “你现在怎么还是单台机器? 一个实例? 万一挂了怎么办? 一定得像我一样,搞集群,提高可用性啊!”

MySQL 说:“啊? 这多吓人,从今天开始,我将时时刻刻为你祈祷,上帝保佑,你千万别挂掉。”

与此同时,张大胖开始着手 Redis 集群了......

本文分享自微信公众号 - GitChat精品课(CSDN_Tech)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-11-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • MySQL 5.7 X Plugin:流水线技术vs.并行查询技术

    本文将以MySQL 5.7 X Plugin为例,对比分析流水线(pipelining)和并行查询技术。 另一篇博文《MySQL 5.7 X Plugin支持异...

    CSDN技术头条
  • 那些高级运维工程师,都是怎么给公司省机器的?

    随着项目用户量的快速增长,前期可能由于应用程序设计、数据库设计及架构不当,大多项目会在用户量百万、日志/流水等表过千万、乃至过亿时,出现写入卡顿、查询缓慢、各种...

    CSDN技术头条
  • 关于缓存你需要知道的

    About Cache 作后端开发的同学,缓存是必备技能。这是你不需要花费太多的精力就能显著提升服务性能的灵丹妙药。前提是你得知道如何使用它,这样才能够最大限度...

    CSDN技术头条
  • Spring Cloud:视频讲解编程题

    lagou-cloud-gateway:网关微服务,集群环境,端口号分别为:9000、9001

    RendaZhang
  • Android点击两次返回键退出应用

    Vance大飞
  • think-cell chart系列5——堆积不等宽柱形图

    今天要分享的是think-cell chart系列的第五篇——堆积不等宽柱形图。 其实要问我为什么对think-cell chart这么情有独钟,现在给出答案—...

    数据小磨坊
  • Greenplum数据库使用总结(干货满满)--工作中常见知识汇总

    drop external table if exists main.t_ent_baseinfo_external_20181214;

    小徐
  • 美团点评数据库中间件DBProxy开源

    介绍 随着数据量的不断增大,传统的直连数据库对数据进行访问的方式已经无法满足一般公司的需求。通过数据库中间件,可以对数据库进行水平扩展,由原来单台数据库扩展到...

    美团技术团队
  • Tesseract-OCR识别中文与训练字库实例

    关于中文的识别,效果比较好而且开源的应该就是Tesseract-OCR了,所以自己亲身试用一下,分享到博客让有同样兴趣的人少走弯路。 文中所用到的身份证图片资源...

    貟王軍
  • Aapache Tomcat AJP 文件包含漏洞(CVE-2020-1938)

    Java 是目前 Web 开发中最主流的编程语言,而 Tomcat 是当前最流行的 Java 中间件服务器之一,从初版发布到现在已经有二十多年历史,在世界范围内...

    周俊辉

扫码关注云+社区

领取腾讯云代金券