Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >缓存穿透了怎么办?

缓存穿透了怎么办?

原创
作者头像
平头哥的技术博文
修改于 2020-03-10 01:59:06
修改于 2020-03-10 01:59:06
6540
举报

在现在互联网架构中,几乎每个互联网项目都会引入缓存系统,比如 Redis、Memcached。来保护下游数据库和提升系统并发量。不管使用哪种缓存系统都有可能遇到缓存穿透的问题。

缓存穿透是指在缓存系统中没有查询到数据,而不得不将请求打到数据库上查询的情况。

当然缓存系统是不可避免的,少量的缓存穿透对系统也没有损害,不可避免的原因有以下几点:

  • 缓存系统的容量是有限的,不可能存储系统所有的数据,那么在查询未缓存数据的时候就会发生缓存穿透。
  • 另一方面就是基于‘二八原则’,我们通常只会缓存常用的那 20% 的热点数据。

正常情况下的缓存穿透是没什么伤害的,但是如果你的系统遭遇攻击,存在大量的缓存穿透的话,那么可能就是一个麻烦了,如果大量的缓存穿透超过了后端服务器的承受能力,那么就有可能造成服务崩溃,这是不可接受的。

基于存在这种大量缓存穿透的可能性,所以我们就需要从根源上解决缓存穿透的问题,解决缓存穿透,目前一般有两种方案:缓存空值和使用布隆过滤器

缓存空值

如果我们系统是遇到攻击的话,那么很有可能查询的值是伪造的,必然大概率不存在我们的系统中,这样无论查询多少次,在缓存中一直不存在,这样缓存穿透就一直存在。

在这种情况下,我们可以在缓存系统中缓存一个空值,防止穿透一直存在,但是因为空值并不是准确的业务数据,并且会占用缓存的空间,所以我们会给这个空值加一个比较短的过期时间,让空值在短时间之内能够快速过期淘汰。下面是一段伪代码:

代码语言:txt
AI代码解释
复制
Object nullValue = new Object();
try {
  Object valueFromDB = getFromDB(uid); //从数据库中查询数据
  if (valueFromDB == null) {
    cache.set(uid, nullValue, 10);   //如果从数据库中查询到空值,就把空值写入缓存,设置较短的超时时间
  } else {
    cache.set(uid, valueFromDB, 1000);
  }
} catch(Exception e) {
  cache.set(uid, nullValue, 10);
}

虽然这种方法可以解决缓存穿透的问题,但是这种方式也存在弊端,因为在缓存系统中存了大量的空值,浪费缓存的存储空间,如果缓存空间被占满了,还会还会剔除掉一些已经被缓存的用户信息反而会造成缓存命中率的下降。

使用布隆过滤器

1970年布隆提出了一种布隆过滤器的算法,用来判断一个元素是否在一个集合中。布隆过滤器底层是一个超级大的 bit 数组,默认值都是 0 ,一个元素通过多个hash函数映射到这个 bit 数组上,并且将 0 改成 1。当然布隆过滤器也不需要我们实现,在 Google 的 guava 包中有提供布隆过滤器,有兴趣的小伙伴可以研究研究。

布隆过滤器存在一定的误判,因为采用hash算法,就一定会存在哈希冲突,这样就可能造成不在数据库中的元素被判断在布隆过滤器中存在,但是不在布隆过滤器中的元素一定不存在数据库中。

利用布隆过滤器的这个特点可以解决缓存穿透的问题,在服务启动的时候先把数据的查询条件,例如数据的 ID 映射到布隆过滤器上,当然如果新增数据时,除了写入到数据库中之外,也需要将数据的ID存入到布隆过滤器中

我们在查询某条数据时,先判断这个查询的 ID 是否存在布隆过滤器中,如果不存在就直接返回空值,而不需要继续查询数据库和缓存,存在布隆过滤器中才继续查询数据库和缓存,这样就解决缓存穿透的问题。

使用布隆过滤器示意图
使用布隆过滤器示意图

当然布隆过滤器有缺陷,除了上面我们讲到过的存在一定的误判,还有一个就是不支持删除

缓存空值和使用布隆过滤器都可以在一定程度上解决缓存穿透的问题,各自有各自的优势,具体如何使用根据特定的场景舍取。

以上就是今天分享的内容,希望对您的学习或者工作有所帮助,如果您觉得文章不错,欢迎点个赞和转发,谢谢。

最后

目前互联网上很多大佬都有缓存穿透相关文章,如有雷同,请多多包涵了。原创不易,码字不易,还希望大家多多支持。若文中有所错误之处,还望提出,谢谢。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
看完这篇缓存穿透的文章,保证你能和面试官互扯!!!
爱撒谎的男孩
2023/08/25
1440
缓存穿透了怎么办?
在缓存命中率低的情况下,大量查询请求会穿透缓存到数据库,因为数据库对于并发的承受能力有限,一旦数据库承受不了大量查询任务,就会导致查询变慢,导致大量的请求阻塞在数据库查询上,造成应用服务器的连接和线程资源被占满,最终导致系统崩溃。
王小明_HIT
2020/08/03
6000
烦人的缓存穿透问题,今天教就你如何去解决
前几天我们讲到了缓存的读写策略(你一定要掌握这种缓存读写策略,开发必备)以及如何搭建高可用缓存系统(分布式缓存高可用方案,我们都是这么干的),都是为了能在基础架构上让我们的缓存命中率能更高,防止大量的请求直接穿透我们的后端存储系统例如MySQL数据库,造成数据库的带宽和连接骤升,从而拖垮我们的整个业务。
架构师修炼
2020/07/20
7290
烦人的缓存穿透问题,今天教就你如何去解决
字节提前批二面:你的项目是怎么解决缓存穿透的?
陌溪之前在面试字节提前批的时候,二面的面试官就问过 Redis 缓存穿透的问题,下面让我们一起深度还原一下陌溪当初的面试场景吧~
拓跋阿秀
2021/08/20
3920
字节提前批二面:你的项目是怎么解决缓存穿透的?
优化系统性能:深入探讨Web层缓存与Redis应用的挑战与对策
Web层缓存对于提高应用性能至关重要,它通过减少重复的数据处理和数据库查询来加快响应时间。例如,如果一个用户请求的数据已经缓存,服务器可以直接从缓存中返回结果,避免了每次请求都进行复杂的计算或数据库查询。这不仅提高了应用的响应速度,还减轻了后端系统的负担。
努力的小雨
2024/08/12
4120
Redis缓存穿透问题及解决方案
上周在工作中遇到了一个问题场景,即查询商品的配件信息时(商品:配件为1:N的关系),如若商品并未配置配件信息,则查数据库为空,且不会加入缓存,这就会导致,下次在查询同样商品的配件时,由于缓存未命中,则仍旧会查底层数据库,所以缓存就一直未起到应有的作用,当并发流量大时,会很容易把DB打垮。
翎野君
2023/05/12
3580
Redis 缓存击穿(失效)、缓存穿透、缓存雪崩怎么解决?
原始数据存储在 DB 中(如 MySQL、Hbase 等),但 DB 的读写性能低、延迟高。
码哥字节
2022/04/08
1.6K0
Redis 缓存击穿(失效)、缓存穿透、缓存雪崩怎么解决?
分布式系统关注点(18)——「缓存穿透」和「缓存雪崩」到底啥区别?
有句话说得好,欲要使其毁灭,先要使其疯狂。当你沉浸在缓存所带来的系统tps飙升的喜悦中时,使你系统毁灭的种子也已经埋在其中。
Zachary_ZF
2019/05/10
4780
分布式系统关注点(18)——「缓存穿透」和「缓存雪崩」到底啥区别?
【高并发】面试官:讲讲什么是缓存穿透?击穿?雪崩?如何解决?
作者个人研发的在高并发场景下,提供的简单、稳定、可扩展的延迟消息队列框架,具有精准的定时任务和延迟队列处理功能。自开源半年多以来,已成功为十几家中小型企业提供了精准定时调度方案,经受住了生产环境的考验。为使更多童鞋受益,现给出开源框架地址:
冰河
2020/10/29
3180
【高并发】面试官:讲讲什么是缓存穿透?击穿?雪崩?如何解决?
解决缓存穿透、缓存雪崩和缓存击穿
短链接平台是一种在线服务,它将长的网址(URL)转换为更短的链接。这些短链接更便于分享,特别是在字符数有限的环境中,比如社交媒体平台。使用短链接平台不仅可以节省空间,还可以提供额外的功能,如点击统计、自定义短链接、以及访问控制等。 短链接的典型格式是由平台的域名加上一串字符组成,这串字符代表了原始的长链接。当用户点击这个短链接时,短链接平台会自动将用户重定向到原始的长链接所指向的网页。这个过程对用户来说是透明的,他们可能根本意识不到链接已经被转换和重定向了。 短链接平台的一些常见应用包括但不限于:
用户10136162
2024/02/03
1980
解决缓存穿透、缓存雪崩和缓存击穿
缓存常见问题总结
在实际的开发项目中,可以根据具体的业务场景选择合适的缓存解决方案,以便满足高并发的需求和缓存安全的问题。
ma布
2024/10/21
1020
缓存常见问题总结
再也不怕,缓存雪崩、击穿、穿透!
用户的数据一般都是存储于数据库,数据库的数据是落在磁盘上的,磁盘的读写速度可以说是计算机里最慢的硬件了。
小林coding
2021/03/27
5060
java布隆过滤器解决redis缓存穿透_redis缓存怎么过滤数据
原本有10亿个号码,现在又来了10万个号码,要快速准确判断这10万个号码是否在10亿个号码库中?
全栈程序员站长
2022/11/08
7830
java布隆过滤器解决redis缓存穿透_redis缓存怎么过滤数据
缓存小结(二)
可以通过部署多个节点,同时设计一些方案让这些节点互为备份。这样,当某个节点故障时,它的备份节点可以顶替它继续提供服务。这些方案就是分布式缓存的高可用方案。主要有客户端方案、中间代理层方案和服务端方案三大类。
WindCoder
2020/01/21
5970
烂大街的缓存穿透、缓存击穿和缓存雪崩,你真的懂了?
没错,缓存能给我们系统显著的提升性能。但如果你使用不好,或者缺乏相关经验,它也会带来很多意想不到的问题。
苏三说技术
2021/12/26
1.2K0
Java缓存穿透、击穿、雪崩解决方案
在互联网高并发的场景下,对于数据库查询频率高的数据,为了提高查询效率,常常会采用缓存技术进行优化。然而,缓存技术也会带来一些问题,比如缓存穿透、缓存击穿和缓存雪崩等。
青山师
2023/05/05
2570
Redis系列:使用Redis实现缓存及相关问题
在请求达到后端之后,对需要进行缓存的接口,会先去 Redis 中找有无数据,没有的话会继续走正常的业务流程,然后将查询到的结果返回给客户端的同时也放在 Redis 中一份,下次相同请求进来后,就可以直接从 Redis中 拿到数据。
栗筝i
2022/12/01
1.1K0
Redis 面试常见问题:缓存雪崩、缓存击穿以及缓存穿透
缓存雪崩是指大量的请求无法在缓存中处理,从而将请求转移到数据库中,导致数据压力倍增。一个Redis实例可以支持万级别的并发请求,而单个数据库只能支持千级别的并发请求。两者处理请求并发能力相差十倍,数据库会由于压力过大而导致雪崩。这里雪崩一般是由两个原因组成,很多文章只写缓存同时过期的情况。
用户10384376
2023/02/25
1.1K0
Redis 面试常见问题:缓存雪崩、缓存击穿以及缓存穿透
Redis实战:缓存穿透及其解决思路 实战演示
布隆过滤器是一种空间效率高、误判率低的数据结构,可以用于快速判断一个元素是否存在于一个集合中。在解决缓存穿透问题时,可以使用布隆过滤器在查询缓存之前进行快速判断,如果判断不存在,则可以直接返回,而不触发后续的数据库查询操作。
苏泽
2024/03/28
5350
Redis实战:缓存穿透及其解决思路 实战演示
【实战问题】-- 缓存穿透之布隆过滤器(1)
前面我们【实战问题】-- 缓存穿透,缓存击穿和缓存雪崩的区别以及解决方案 提到,在防止缓存穿透的情况(缓存穿透是指,缓存和数据库都没有的数据,被大量请求,比如订单号不可能为-1,但是用户请求了大量订单号为-1的数据,由于数据不存在,缓存就也不会存在该数据,所有的请求都会直接穿透到数据库。),我们可以考虑使用布隆过滤器,来过滤掉绝对不存于集合中的元素。
秦怀杂货店
2022/02/15
5360
【实战问题】-- 缓存穿透之布隆过滤器(1)
推荐阅读
相关推荐
看完这篇缓存穿透的文章,保证你能和面试官互扯!!!
更多 >
领券
💥开发者 MCP广场重磅上线!
精选全网热门MCP server,让你的AI更好用 🚀
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档