前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >聊聊db和缓存一致性常见的实现方式

聊聊db和缓存一致性常见的实现方式

作者头像
Bug开发工程师
发布2019-10-23 21:33:29
5760
发布2019-10-23 21:33:29
举报
文章被收录于专栏:码农沉思录码农沉思录

数据存储在数据库中,为了加快业务访问的速度,我们将数据库中的一些数据放在缓存中,那么问题来了,如何确保db和缓存中数据的一致性呢?我们列出了5种方法,大家都了解一下,然后根据业务自己选择。

方案1

获取缓存逻辑

使用过定时器,定时刷新redis中的缓存。

db更新数据逻辑

更新数据不用考虑缓存中的数据,直接更新数据就可以了

存在的问题

缓存中数据和db中数据一致性可能没有那么及时,不过最终在某个时间点,数据是一致的。

方案2

获取缓存逻辑

c1:根据key在redis中获取对应的value c2:如果value存在,直接返回value;若value不存在,继续下面步骤 c3:从数据库获取值,赋值给value,然后将key->value放入redis,返回value

更新db逻辑

u1:开始db事务 u2:更新数据 u3:提交db事务 u4:删除redis中当前数据的缓存

存在的问题
  1. 上面u3成功,u4失败,会导致删除缓存失败,导致缓存中数据和db数据会不一致。
  2. 如果同时有很多线程到达c2发现缓存不存在,同时请求c3访问db,会对db造成很大的压力

方案3

获取缓存逻辑

c1:根据key在redis中获取对应的value c2:如果value存在,直接返回value;若value不存在,继续下面步骤 c3:从数据库获取值,赋值给value,然后将key->value放入redis,返回value

更新db逻辑

u1:删除redis中当前数据的缓存 u2:开始db事务 u3:更新数据 u4:提交db事务

存在的问题
  1. 更新数据的线程执行u1成功之后,u2还未执行时,此时获取缓存的线程刚好执行了c1到c3的逻辑,此时会将旧的数据放入redis,导致redis和db数据不一致
  2. 同样存在方案2中说到的问题:如果同时有很多线程到达c2发现缓存不存在,同时请求c3访问db,会对db造成很大的压力

方案4

对方案2做改进,确保db更新成功之后,删除缓存操作一定会执行,我们可以通过可靠消息来实现,可靠消息可以确保更新db操作和删除redis中缓存最终要么都成功要么都失败,依靠的是最终一致性来实现的。

改进之后过程如下。

获取缓存逻辑

c1:根据key在redis中获取对应的value c2:如果value存在,直接返回value;若value不存在,继续下面步骤 c3:从数据库获取值,赋值给value,然后将key->value放入redis,返回value

更新db逻辑

u1:开始db事务 u2:更新数据 u3:投递删除redis缓存的消息 u4:提交db事务

消息消费者-清理redis缓存的消费者

接受到清理redis缓存的消息之后,将redis中对应的缓存清除。

存在的问题
  1. 更新db和清理redis中的缓存之间存在一定的时间延迟,这段时间内,redis缓存的数据是旧的,也就是说这段时间内db和缓存数据是不一致的,但是最终会一致,这个不一致的时间可能比较小(这个需要看消息消费的效率了)
  2. 同样存在方案2中说到的问题:如果同时有很多线程到达c2发现缓存不存在,同时请求c3访问db,会对db造成很大的压力
关于可靠消息的,可以看
  • 聊聊mq的使用场景
  • 聊聊业务系统中投递消息到mq的几种方式
  • 谈谈mq消息消费的几种方式
  • 如何确保消息至少消费一次?

方案5

我们先了解一些知识。

redis中几个方法
get(key)

获取key的值,如果存在,则返回;如果不存在,则返回nil

setnx(key,value)

setnx的含义就是SET if Not Exists,该方法是原子的,如果key不存在,则设置当前key成功,返回1;如果当前key已经存在,则设置当前key失败,返回0

del(key)

将key对应的值从redis中删除

数据库相关知识

select v from t where t.key = #key# for update;

update t set v = #v# where t.key = #key#;

上面两个sql会相互阻塞,直到其中一个提交之后,另外一个才可以继续执行。

下面我们就通过上面的知识来实现db和缓存强一致性。

更新数据逻辑
代码语言:javascript
复制
1.打开db事务
2.update t set v = #v# where t.key = #key#;
3.根据key删除redis中的缓存:RedisUti.del(key);
4.提交db事务
获取缓存逻辑
代码语言:javascript
复制
/*公众号:路人甲Java
* 工作10年的前阿里P7分享Java、算法、数据库方面的技术干货!
* 坚信用技术改变命运,让家人过上更体面的生活。*/
public class CacheUtil {

    //根据key获取缓存中对应的value
    public static String getCache(String key) throws InterruptedException {
        String value = RedisUtils.get(key);
        if (value != null) {
            return value;
        }
        //过期时间为当前时间+5秒
        String expireTimeKey = key + "ExpireTime";
        long expireTimeValue = System.currentTimeMillis() + 5000;
        //setnx是原子操作,所以只有一个会成功
        int setnx = RedisUtils.setnx(expireTimeKey, expireTimeValue + "");
        if (setnx == 0) {
            expireTimeValue = Long.valueOf(RedisUtils.get(expireTimeKey));
            //如果expireTimeValue小于当前时间,说明expireTimeKey过期了,将其删除
            if (System.currentTimeMillis() > expireTimeValue) {
                //将expireTimeKey对应的删除
                RedisUtils.del(expireTimeKey);
            } else {
                //休眠1秒继续获取
                TimeUnit.SECONDS.sleep(1);
            }
            //重试
            return getCache(key);
        } else {
            //1. 开启db事务
            start transaction;
            //2. 执行update  t set v = #v# where t.key = #key# for update; 将v的值赋值给value
            update  t set v = #v# where t.key = #key# for update;
            RedisUtils.set(key, value);
            //3.提交db事务
            commit transaction;
        }
        return value;
    }

    //redis工具类,内部方法为伪代码
    public static class RedisUtils {
        //根据key获取value
        public static String get(String key) {
            return null;
        }

        //设置key对应的value
        public static void set(String key, String value) {
        }

        //删除redis中一个key对应的值
        public static void del(String key) {
        }

        //setnx的含义就是SET if Not Exists,该方法是原子的,如果key不存在,
        //则设置当前key成功,返回1;如果当前key已经存在,则设置当前key失败,返回0
        public static int setnx(String key, String value) {
            return 1;
        }
    }
}

这种方式可以确保db和redis中缓存同一时间强一致,有问题的可以留言交流!

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2019-10-22,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 码农沉思录 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 方案1
    • 获取缓存逻辑
      • db更新数据逻辑
        • 存在的问题
        • 方案2
          • 获取缓存逻辑
            • 更新db逻辑
              • 存在的问题
              • 方案3
                • 获取缓存逻辑
                  • 更新db逻辑
                    • 存在的问题
                    • 方案4
                      • 获取缓存逻辑
                        • 更新db逻辑
                          • 消息消费者-清理redis缓存的消费者
                            • 存在的问题
                              • 关于可靠消息的,可以看
                              • 方案5
                                • redis中几个方法
                                  • get(key)
                                  • setnx(key,value)
                                  • del(key)
                                • 数据库相关知识
                                  • 更新数据逻辑
                                    • 获取缓存逻辑
                                    相关产品与服务
                                    云数据库 Redis
                                    腾讯云数据库 Redis(TencentDB for Redis)是腾讯云打造的兼容 Redis 协议的缓存和存储服务。丰富的数据结构能帮助您完成不同类型的业务场景开发。支持主从热备,提供自动容灾切换、数据备份、故障迁移、实例监控、在线扩容、数据回档等全套的数据库服务。
                                    领券
                                    问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档