啊哈!缓存

缓存在分布式系统中应用广泛,如何在架构设计中使用缓存来优化业务一直都是一个重要的话题。本文主要对引入缓存需要解决的问题以及一些优秀的实践,让读者对缓存有一个比较宏观的了解。

一. 无处不在的缓存

缓存对性能的提升十分明显,特别是在分布式系统中,80%的业务访问集中在20%的数据上,如何用好缓存是架构设计的必修课。

目前,很多系统框架可能会涉及到方方面面,如下图所示:

从客户端访问,到最终的数据存储,整个流程中有各式各样的缓存,主要有如下几个部分:

  • 客户端缓存
    • 对于互联网通常来说的是BS架构应用,可以分为页面缓存和浏览器缓存;
    • 对于移动互联网来说,指的是APP自身所使用的缓存。
  • 代理服务器缓存(如Nginx)
    • 向用户提供静态内容,内容缓存等
  • 分布式缓存
    • 如Redis,可以供分布式下的应用使用,提高查询效率
  • 数据库缓存
    • Mysql使用了查询缓冲机制,将select语句和查询结果放在缓冲区中,以后对同样的SQL语句,将直接从缓冲区中读取结果,节省查询时间,提高SQL查询的效率。
  • 本地缓存
    • 如Ehcache、Guava,应用自身使用
  • ... ...

本质

空间换时间 - 利用分布式下不同介质的快速存储设备,来替换数据库,加快系统的数据处理和响应速度。

就近原则 - 将数据缓存到离用户最近的位置;将数据缓存到离应用最近的位置。

二. 缓存要解决的问题

引入缓存我们获取的数据的过程就变成如图所示:

  1. 先从缓存中获取数据,如果有则直接返回
  2. 如果没有命中,则查数据库。
    1. 如果没有值,则直接返回提示信息,如未找到XXX
    2. 如果有值,则将值存入缓存供下次查询使用,并返回数据

引入一方面减轻了数据库的压力、提升查询性能、提供吞吐量,但同时也要考虑诸多带来的问题,如:

  • 缓存穿透
  • 缓存雪崩
  • 缓存并发
  • 一致性问题
  • 缓存升级
  • 数据迁移

接下来,我们一个个来看看。

1、缓存穿透

缓存穿透指的是使用不存在的key进行大量的高并发查询,这导致缓存无法命中。每次请求都要穿透到后端数据库系统进行查询,使数据库压力过大,甚至使数据库被压死

从缓存视角看无法在缓存中找到记录;从数据库视角看无法在数据库中找到记录。缓存穿透的解决方法,可以通过空对象(NullObject)或者 布隆过滤器来解决。

  • 空对象(NullObject)

我们通常将空值缓存起来,再次接收到同样的查询请求时。若命中缓存并且值为空对象,就会转换成业务需要的结果返回(包含错误码和结果不存在的错误信息),这样就不会透传到数据库,避免缓存穿透。

  • 布隆过滤器

将所有可能存在的数据哈希到一个足够大的bitmap中去,不存在的数据会被bitmap拦截,从而避免了对底层存储系统的压力。

布隆过滤器可以使用Guava来做,一个简单的示例如下:

import com.google.common.hash.BloomFilter;
import com.google.common.hash.Funnels;

public class Test {

  public static void main(String[] args) {
    BloomFilter<Integer> filter = BloomFilter.create(Funnels.integerFunnel(), 50000000L);
    for(int i=1;i<2000000;i++) {
      filter.put(i);
    }

    int mightContainsNum = 0;
    for(int i=1;i<2000000;i++) {
      if(filter.mightContain(i)) {
        mightContainsNum++;
      }
    }
    System.out.println("匹配数 : " + mightContainsNum);
  }
}

2、缓存雪崩

缓存雪崩指在服务器重启或者大量缓存集中在某一个时间段内失效,给后端数据库造成瞬时的负载升高的压力,甚至压垮数据库的情况。

缓存雪崩一个简单有效的解决方法就是设置不同的失效时间。通常的解决办法是对不同的数据使用不同的失效时间。比如我们要缓存一个Product的数据,会对每个产品的缓存数据设置不同的缓存过期时间。可以定义一个基础时间,假设是30分钟,然后加上一个5分钟的随机数据,缓存数据将被打散,失效时间为30~35之间,这样就会避免缓存雪崩。

其他解决方法包括使用二级缓存,缓存不过期(可以通过其他定时或者某种策略来删除)等。

3、缓存并发

缓存并发的问题通常发生在高并发的场景下,当一个缓存key过期时候,因为访问这个缓存key的请求量较大,多个请求同时发现缓存过期。因此多个请求会同时访问数据库来查询最新的数据,并且写回缓存,这样造成应用和数据库的负载增加,性能降低。

缓存并发可以通过分布式锁、软过期等方法解决。

  • 分布式锁

使用分布式锁,保证对每个key同时只有一个线程去查询后端服务,其他线程没有获得分布式锁的权限,因此只需要等待即可。这种方式将高并发的压力转移到了分布式锁,因此对分布式锁的考验很大。

  • 软过期

对缓存的数据设置失效时间,就是不使用缓存服务提供的过期时间,而是业务在数据存储过期时间信息,由业务程序判断是否过期并更新,在发现了数据即将过期时,将缓存的失效延长,程序可以派遣一个线程去数据库获取最新的数据,其他线程这时看到了延长了的过期时间,就会继续使用旧数据,等派遣的线程获取最新数据后再更新缓存。

其它解决方法入手多级缓存永不过期等。

4、一致性问题

当数据变化时候,为了去保持数据库和缓存数据的一致性,数据库和缓存处理的方式主要有2种:

方法1:先删除缓存,再更新数据库

方法2:先更新数据库,再删除缓存(个人使用这个,推荐)

  • 先删除缓存,再更新数据库

理由

1、原子性考量

2、因为如果删除缓存成功,更新数据库失败,最多只是会造成缓存穿透,引起一次Cache miss,后面还会更新缓存。而如果更新数据库成功,删除缓存失败,会引起比较严重的数据不一致情况。

有很多同学选择该方式来处理,原因主要是如上所述吧。

但是,这个在并发的场景中,两个并发操作,一个是更新操作,另一个是查询操作,更新操作删除缓存后,查询操作没有命中缓存,先把老数据读出来后放到缓存中,然后更新操作更新了数据库。于是,在缓存中的数据还是老的数据,导致缓存中的数据是脏的,而且还一直这样脏下去了

这种方式也是有数据不一致的场景存在,当然可以通过双删除的方式解决,即更新数据库后再删除一次缓存。

我为什么没有选择这种方式,主要还是因为,我觉得数据还是要以数据库的数据为准,缓存应该是个辅助,其操作成功不意味着最终真正的成功。写缓存失败就不再写数据库,虽然保证了原子性,但这种做法对比较影响业务。所以,个人还是比较倾向于方法二:先更新数据库,再删除缓存。

  • 先更新数据库,再删除缓存

这里使用的是删除del而不是set,之所以这样是怕两个并发的写操作导致脏数据。

这种主要采用了Cache Aside Patter, 其主要的思想是:

  • 失效:应用程序先从cache取数据,没有得到,则从数据库中取数据,成功后,放到缓存中。
  • 命中:应用程序从cache中取数据,取到后返回。
  • 更新:先把数据存到数据库中,成功后,再让缓存失

该种处理方式基本没有很大的并发问题,其造成脏数据的情况相对概率相对较低,因为这个条件需要发生在读缓存时缓存失效,而且并发着有一个写操作。

脏数据场景

一个是读操作,但是没有命中缓存,然后就到数据库中取数据,此时来了一个写操作,写完数据库后,让缓存失效,然后,之前的那个读操作再把老的数据放进去,所以,会造成脏数据。

不过,这种情况下,还有其它的问题,比如如下情况:

  1. 数据库更新成功,但是数据库做读写分离的场景,是否会有问题?
  2. 数据库更新成功,缓存删除失败(比如网络抖动等),如何做?

针对读写分离的场景,我们可以对某些表进行设置,就从主库读取即可获取最新的数据。针对缓存删除失败的场景,可以引入消息队列,让业务收发消息队列,然后重试删除。

这种方式,业务逻辑需要考虑缓存失败的逻辑处理,对代码有侵入性。那么,有没有什么手段去让业务层只关注业务,而不需要考虑缓存的失效?

可以借助Canal,来完成数据库binlog的订阅,然后完成缓存的更新操作,如:

这样处理之后,业务层就关注业务,缓存失效由非业务代码来处理,这样就分开了,如下图所示:

补充

关于先更新数据库还是先删除缓存,这些还是要根据自己的业务场景、特点来选择。个人而言,我更加倾向于【先更新数据库,后删除缓存】的方式。

5、本地缓存

在很多场景中,我们还会引入本地缓存(比如采用Guava来做),以增加查询效率。

场景

有两个(dubbo)应用product和device,其中:

product服务接口提供中获取产品详情的方法,包含产品基本信息定义,以及包含的数据点等定义。

device服务需要使用到获取product的获取产品详情方法。

在上述场景中,详情的获取是这样的device -->product --> 缓存

因为产品的定义修改是低频的,所以如果在device中增加product详情的本地缓存,将减少调用product服务的次数,减少网络带来的开销,提升device相关接口的效率。

引入本地缓存后,变成如下模样。

这样一来,本地查询是加快了,但是同时也带来了如下的问题

如果产品信息更新,分布式环境下device的应用服务可能有几十个,每个device应用中的本地缓存如何同步更新?

一个较靠谱的解决方法便是引入消息队列进行通知,采用广播的方式

6、缓存的对象扩展

思考

前期对某个对象(如产品Product)进行了缓存,缓存对象包含产品的名称、productKey。现在需要在该缓存对象中增加一个所述品类的的信息,需要在原来的基础上进行扩容。

上线发布需要注意些什么呢?

解决方法:

  • 对需要改变的key的名字增加版本加以区分,如原来prod:{productKey},改成prod:{productKey}:v2
  • 配置中心增加应急开关,用于是否启用新的key
  • 不能够在灰度的时候打开应急开关,因为,如果原来产品信息如名称有更新,则:
    • 灰度机器处理的话,其不会更新原来的key
    • 非灰度机器处理的话,其不会更新新的key 这两者都会造成产品信息查询的时候,有部分流量返回的数据是不正确的。
  • 如线上发现问题,直接关闭开关

7、版本升级,数据迁移

思考

Redis版本需要升级,比如4.0升级到5.0,需要进行数据迁移。

如何做呢?

这个时候需要考虑业务场景了,是否是静态迁移还是动态迁移。

静态迁移(需要做好评估,一般在晚上交易量小或者非核心业务场景中用)

  • 停机应用,先将应用停止
  • 迁移历史数据,按照新的规则把历史数据迁移到新的缓存集群中
  • 更改应用的数据源配置,指向新的缓存集群
  • 重新启动应用

如果不能停机,进行数据迁移如何做呢?

平滑迁移(适合对可用性要求较高的场景,如停机会带来较大损失,无交易低峰)

  • 双写。按照新旧规则同时往新缓存和旧缓存中写数据
  • 迁移历史数据,如果在一定的时间内新缓存就有足够的数据,那么可以不需要进行此操作
  • 切读。把应用层所有的读操作路由到新的缓存集群上
  • 下线双写。把写入旧的逻辑下线(可以采用线上配置开关处理)

三. 缓存使用优秀实践

  • 缓存系统主要消耗的是服务器的内存。因此,在使用缓存时必须先对应用需要缓存的数据大小进行评估,包括缓存的数据结构、数据大小、缓存数量、缓存的失效时间。
  • 核心和非核心业务使用不同的缓存实例。
  • 设置缓存超时时间,缓存超时设置过长,从而拖垮服务器的线程池,最终导致服务器雪崩的情况。
  • 如果多个业务为了成本共用实例,缓存key需要添加业务唯一的前缀,防止缓存互相覆盖
  • key的失效时间要打散,不要集中在一个点,否则导致缓存占满内存或者缓存雪崩
  • 缓存的对象不宜过大,会阻塞其他请求的处理
  • 一定要有降级开关机制,尤其是对关键的业务环节,缓存有问题或者失效时也能回源到数据库进行处理
  • 所有的缓存实例一定要有监控,这个非常重要。我们需要对慢查询、大对象、内存使用情况等做可靠性的监控。

温馨提示

缓存是一个大的课题,可以做的事情很多,比如优化、稳定性等。

所谓技无止境,没有最好只有更好。在不同的场景,使用缓存可能会遇到这样那样的问题,还需要选择合适的方式去解决。

参考资料

[1]. https://www.cnblogs.com/jay-huaxiao/p/11462232.html

[2]. https://www.cnblogs.com/fanguangdexiaoyuer/p/9545181.html

[3]. https://blog.csdn.net/chuanyingcao2675/article/details/101048933

[4]. 李艳鹏等. 可伸缩服务架构-框架与中间件. 电子工业出版社

[5]. https://coolshell.cn/articles/17416.html

本文分享自微信公众号 - 孟君的编程札记(gh_0f0f5e0ae1de),作者:孟君

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-04-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 可视化排序实践之冒泡排序

    这样,一个简单地,模拟执行结合排序变化的例子就完成了。:) 有兴趣的读者可以试一试。

    孟君
  • Arthas,一个Java诊断工具,你值得拥有

    Arthas支持JDK 6+,支持Linux/Mac/Winodws,采用命令行交互模式,同时提供丰富的 Tab 自动补全功能,进一步方便进行问题的定位和诊断。

    孟君
  • [动态规划] 数字三角形问题(一维数组实现)

    一个数字三角宝塔。设数字三角形中的数字为不超过100的正整数。现规定从最顶层走到最底层,每一步可沿左斜线向下或右斜线向下走。假设三角形行数小于等于100编程求解...

    孟君
  • 通俗讲解:缓存、缓存算法和缓存框架

    1 引言 我们都听过 cache,当你问他们是什么是缓存的时候,他们会给你一个完美的答案,可是他们不知道缓存是怎么构建的,或者没有告诉你应该采用什么标准去选择缓...

    前朝楚水
  • [NewLife.XCode]对象字典缓存(百万军中取敌首级)

    NewLife.XCode是一个有10多年历史的开源数据中间件,支持nfx/netcore,由新生命团队(2002~2019)开发完成并维护至今,以下简称XCo...

    大石头
  • [NewLife.XCode]数据层缓存(网站性能翻10倍)

    NewLife.XCode是一个有10多年历史的开源数据中间件,支持nfx/netcore,由新生命团队(2002~2019)开发完成并维护至今,以下简称XCo...

    大石头
  • 认识浏览器缓存

    关于何为前端缓存,这里结合具体实际给出一个简单的定义:在两次不同的运行时中,能够共享的数据可以成为前端缓存。如何理解两次不同的运行时呢,可以理解为两次不同的页面...

    MarsBoy
  • 微服务扩展性和高可用-缓存(翻译)

    缓存是一种在多个消费端或服务端之间共享数据的技术,计算或获取数据都是非常昂贵的.数据存储和检索在一个子系统中。该子系统提供对频繁访问数据副本的快速访问。

    日薪月亿
  • 突破Java面试(19) - 分布式缓存的第一个问题

    只要问到缓存,上来第一个问题,肯定能是先问问你项目哪里用了缓存?为啥要用?不用行不行?如果用了以后可能会有什么不良的后果?

    JavaEdge
  • 【吊打面试,击中要害】缓存穿透、缓存击穿和缓存雪崩

    2019磕磕碰碰总算过去了,2020年秉承开源共享原则,继续分享在工作中遇到的各种问题和干货。2020年在面试题开始,祝愿小伙伴在2020年都能谋...

    java乐园

扫码关注云+社区

领取腾讯云代金券