缓存淘汰 为什么需要缓存淘汰？你需要缓存30G的数据，但是Redis本身只能使用10G的内存，那你就得做个取舍了，毕竟鱼与熊掌不可兼得。为了利益最大化肯定要保留最重要的10个G。...造成这种情况的原因如下： 系统设计不合理，缓存数据更新不及时 爬虫等恶意攻击 解决方案： 如果key在数据库中也不存在，那么就写一个空值到Redis中，并设置一个过期时间，避免一直占用内存 查询缓存之前使用布隆过滤器拦截...缓存击穿 缓存击穿，就是常说的热点key问题，当一个正有非常巨大的访问量访问的key 在失效的瞬间，大量的请求击穿了缓存，直接落到了数据库上，然后所有从数据获取到数据的线程又都并发的想要把数据缓存到...Redis 的持久化机制 数据库缓存双写一致性 当一个数据需要更新时因为不可能做到同时更新数据库和缓存、那么此时读取数据的时候就一定会发生数据不一致问题，而数据不一致问题在金融交易领域的系统中是肯定不允许的...解决方案： 读的时候，先读缓存，缓存没有的话，就读数据库，然后取出数据后放入缓存，同时返回响应。 更新的时候，先更新数据库，然后再删除缓存。 参考自公众号：石杉的架构笔记
写缓存（Change Buffer） 是一种特殊的数据结构，用于在对数据变更时，如果数据所在的数据页没有在 buffer pool 中的话，在不影响数据一致性的前提下，InnoDB 引擎会将对数据的操作缓存在...将数据页从磁盘读入内存中涉及随机 IO 访问，这也是数据库里面成本最高的操作之一，而利用写缓存（Change Buffer）可以减少 IO 操作，从而提升数据库性能。...参数配置 上面就是写缓存（Change Buffer）的相关知识，写缓存（Change Buffer）我们也是可以使用命令参数来控制，MySQL 数据库提供了两个对写缓存（Change Buffer）的参数...4、后台线程会定时将 page1 和 Change Buffer 中的数据持久化 主要地方在于步骤二，这就是写缓存（Change Buffer）提高性能的地方，虽然 page2 并没有在内存中，但是并没有妨碍我们往数据库...page2 中插入数据，先将数据写入到写缓存（Change Buffer）中，再后台通过 merge 操作将插入的数据写入到数据页 page2 。
首先我们知道，现在将高速缓存应用于业务当中已经十分常见了，甚至可能跟数据库的频率不相上下。你的用户量如果上去了，直接将一个裸的 MySQL 去扛住所有压力明显是不合理的。...而如果没有从缓存中获取到，就会去 DB 中查询，将查询到的数据写回 Redis，然后返回响应。 而更新则相对简单，但是也是最具有争议。...又或者你是直接将原缓存删除，然后又将最新的数据写入缓存？ 其实乍一看，好像没有毛病。我更新难道不应该这么更新吗？在这里，我们的关注点更多的放在了更新的方式上，而把更多的必要性给忽略到了。...然后，更新请求1将最新的数据更新至 DB，缓存和 DB 的数据就不一致了。 其实 Cache Aside Pattern 中的模式，仍然会在某些 case 下造成数据不一致。...除此之外，读请求去 DB 请求数据的时间一定要早于写请求，并且写缓存的时间还要一定晚于写请求，比起最开始的那种情况来说，条件已经是非常的严格了。
为降低用户使用门槛，方便用户更加方便快捷地上云，微擎已支持通过“云安装”功能，将代码托管至微信云托管，无需单独购买服务器和域名，即可实现一键部署，简化操作，非常适合初创、中小企业以及研发人力有限的团队。...五、倘若您的微信号已绑定公众号或小程序，直接选择账号登录即可，随后设置数据库密码进入一键部署。 六、部署完成后返回微擎控制台，点击【安装系统】，设置账号密码。...（如列表内未出现您需要操作的应用或站点，需点击系统功能内的更新缓存按钮。）...二、点击【TCB准备】后，会跳转到微信云托管页面，输入之前云安装保存的数据库密码即可进入部署，部署完成后就可以回到微擎控制台操作安装或更新了。...://wiki.w7.cc/home ---- 扫码加入微信云托管交流群 关于云开发 云开发平台是帮助企业在云端开发、部署和运行应用的一站式云原生平台。
2.2 先更新数据库 再更新缓存 假如我们有A、B两个请求，A请求将age = 14，B请求将age = 12。我们看下正常执行跟非正常执行情况： ?...缓存旧数据 可发现如果出现网络震荡会导致缓存的数据是旧数据。因此这种方法不可取。并且如果是如下场景也不合适： 写场景多而读场景少的业务需求，此时缓存不是经常性的读，却被频繁的更新。...延时双删策略 sleep的时间要根据业务数据逻辑耗时而定，反正目的是确保读请求结束，写请求可以删除读请求造成的缓存脏数据。...命中：应用程序从缓存中取数据，取到后返回。 更新：先把数据存到数据库中，成功后，再让缓存失效。 假如此时A、B两个线程同时请求，正常来讲不管你是读写分离还是单机版，读一般比写快。...读比写还慢时 该方案相比先删除缓存再更新数据库还是稳妥些的，但是也不是万无一失的。不管是先删缓存再更新数据库还是先更新数据库再删缓存，如果删除缓存失败了都会导致缓存跟数据不一致问题！
序 在使用缓存时，我们必须要考虑的是缓存与数据库的双写一致性，是先删缓存还是先更新数据库？是需要强一致性还是最终一致性？延迟双删策略真的就万无一失了吗？...先删缓存再更新数据库 如图，如果第一步删除缓存失败，那么事务直接回滚，数据库和缓存是一致的；如果更新数据库失败，事务回滚，数据库仍是旧数据，其它线程来查的时候，也是将旧数据放入缓存，所以也是一致的...可以看到线程A删除缓存后还没来得及更新数据库，或者更新了数据库还没提交事务，若有其它线程来查询，此时缓存没有，则去数据库查询到旧数据放入到缓存，那么数据库和缓存就不是一致的了。...这个我们只需要一个重试机制就可以避免，比如放入mq，确保删除成功，但这样对业务代码侵入比较大，所以考虑将第二次删除操作交由其它组件完成，比如使用canal监听binlog，异步删除缓存，也就是Cache...虽然这个方案可以很好的保证数据一致，但缺点也很明显，在读写比较频繁的情况下，会造成大量的锁竞争，导致性能降低，不过这样的业务一般是可以考虑最终一致性或是直接写缓存，再异步写入库，具体情况还是需要根据业务来分析
什么是缓存双写一致只要用缓存，就可能会涉及到缓存与数据库双存储双写，你只要是双写，就一定会有数据一致性的问题。我们需要保证redis跟数据库的中的数据保持一致，返回正确的数据。...更新缓存还是删除缓存？ 删除缓存，而不是更新缓存 如果更新缓存，在并发写时，可能出现数据不一致。...在业务程序运行的时候,统计下线程读数据和写缓存的操作时间,自行评估自己的项目的读数据业务逻辑的耗时,以此为基础来进行估算。...然后写数据的休眠时间则在读数据业务逻辑的耗时基础上加百毫秒即可这么做的目的,就是确保读请求结束,写请求可以删除读请求造成的缓存脏数据先更新数据库，再删除缓存场景描述时间线程A线程B出现的问题t1删除数据库中的值...为什么要引入MQ在应用程序将数据更新到数据库后,将更新操作发送到消息队列中,然后再由消息队列异步地触发删除缓存数据的操作这样做的好处是，即使在更新数据库后发生异常或者网络延迟等问题,数据更新操作也已经被放到消息队列中
2.2 先更新数据库 再更新缓存 假如我们有A、B两个请求，A请求将age = 14，B请求将age = 12。...，反正目的是确保读请求结束，写请求可以删除读请求造成的缓存脏数据。...命中：应用程序从缓存中取数据，取到后返回。 更新：先把数据存到数据库中，成功后，再让缓存失效。 假如此时A、B两个线程同时请求，正常来讲不管你是读写分离还是单机版，读一般比写快。...那删除缓存一般是有效的。 先更新数据库再删除缓存 但是也有可能别的原因导致读比写还慢，导致我们删了个寂寞，虽然这种情况很少发生。...读比写还慢时 该方案相比先删除缓存再更新数据库还是稳妥些的，但是也不是万无一失的。不管是先删缓存再更新数据库还是先更新数据库再删缓存，如果删除缓存失败了都会导致缓存跟数据不一致问题！
在之前的文章中，已经有接触和分享到微擎的安装（宝塔Linux面板一键快速安装微擎微信管理平台），以及在微擎中授权绑定微信公众账号（微擎添加和接入微信公众账号的过程记录）。...在接入微擎之后，我们就可以利用微擎提供的免费和付费应用模块丰富微信公众号的功能。...文章目录 隐藏 第一、准备工作 第二、购买激活微擎应用 第三、授权应用与管理 第四、小结 第一、准备工作 1、授权域名 我们需要授权微擎的域名在微信公众号中。...2、安装HTTPS 在目前的功能中没有强制需要对微擎的安装的域名用HTTPS，但是之前接触到几个网友好像有些功能是必须使用的，所以我们还是提前将SSL证书安装好。...第三、授权应用与管理 将应用授权到公众号之后打开公众号，在左侧可以看到应用模块。 这里我们可以设置关键字回复调用激活，或者获取URL入口，然后将添加到微信应用模板的菜单或者导航中。
老蒋在前面的"微擎添加和接入微信公众账号的过程记录"文章中已经在微擎软件客户端中将公众号接入进来。然后我们就可以利用强大的微擎后台进行菜单设置、软件安装部署。...公众平台返回原始数据为: 错误代码-40164，错误信息-invalid ip 118.89.240.35, not in whitelist hint: [XCDNdA00791466] "这样的错误提示...从字面上很好理解，就是当前我架设微擎的服务器IP地址需要设置白名单。 我们在"开发"-"基本设置"，进行配置IP白名单。 将服务器IP地址添加进来保存验证设置。...本文出处：老蒋部落 » 解决微擎"公众平台返回原始数据为: 错误代码-40164"问题 | 欢迎分享
2.输入你的服务器密码，如果忘记密码可以在这里重置一下密码 3.登录服务器后，我们将下面的命令放入到控制器里，然后回车运行，进行安装宝塔面板 yum install -y wget && wget -O...cdn.w7.cc/download/WeEngine-1.0-Online.zip 3.在宝塔面板里解压下载的安装包，然后在浏览器里访问你绑定的域名，地址是你的域名/install.php，然后就进入微擎框架的安装界面...4.输入创建站点时生成的数据库账号和密码，如果不知道可以进入宝塔面板的数据库这里查看，输入完了后点击安装，然后等待安装过程。 5.安装完成后，进入微擎云端，也就是访问软擎云端！...6.进入微擎框架后台后，先切换到创始人端，就可以创建公众号和小程序的管理后台了，这里我们选择对接微信公众号，创建完后就可以进入微信公众号后台了。...随后，我们进行了微擎框架的安装。从创建站点到下载安装文件包，再到解压文件并进行安装，我们一步步完成了这些操作，确保了微擎框架的顺利安装。
无论是帮助客户搭建公众号接入微擎，还是提供插件开发的，都相当的有市场。...如果真能完全会玩微擎着实还需要花费点时间，今天老蒋抽点时间在微擎后台接入微信公众号，顺带记录下来，但是因为我不是服务号，而是订阅号，所以对于菜单或者一些功能还是有缺陷的，但是对于微信公众号的添加到微擎CMS...文章目录 隐藏 第一、微擎添加微信公众号前准备 第二、微擎添加微信公众号过程 第一、微擎添加微信公众号前准备 1、我们需要准备一个认证过的服务号，因为个人订阅号功能着实有限。...2、需要自己已经安装过微擎，具体可以参考"Linux VPS安装微擎微信公众号管理系统安装过程和要求"。...4、接入成功 这样我们就成功将微信公众号接入到微擎软件中。对于微擎的其他功能以后老蒋有时间在研究，觉得这个还是蛮有意思的，但是真的需要研究还是需要花费点心思的。
但由于网络原因，卡顿了一下，还没来得及写数据库。 这时请求c过来了，先查缓存发现没数据，再查数据库，有数据，但是旧值。 请求c将数据库中的旧值，更新到缓存中。...这时请求c过来了，先查缓存发现没数据，再查数据库，有数据，但是旧值。 请求c将数据库中的旧值，更新到缓存中。 此时，请求d卡顿结束，把新值写入数据库。...请求d卡顿结束，把新值写入数据库后，请求c将数据库中的旧值，更新到缓存中。 此时，如果请求d删除太快，在请求c将数据库中的旧值更新到缓存之前，就已经把缓存删除了，这次删除就没任何意义。...将重试的任务交给线程池处理，但如果服务器重启，部分数据可能会丢失。 将重试数据写表，然后使用elastic-job等定时任务进行重试。...将重试的请求写入mq等消息中间件中，在mq的consumer中处理。 订阅mysql的binlog，在订阅者中，如果发现了更新数据请求，则删除相应的缓存。 7.
MySQL数据库与Redis缓存双写一致性 问题 你只要用缓存，就可能会涉及到缓存与数据库双存储双写，你只要是双写，就一定会有数据一致性的问题，那么你如何解决一致性问题？...，则从 db 里面捞一份，称作 cache miss； 将读取到的数据塞入到缓存中，下次读取时，就可以直接命中。...再来看一下写请求，规则是“先更新 db，再删除缓存”，详细步骤如下： 将变更写入到数据库中； 删除缓存里对应的数据。 大厂高并发，“后删缓存”依旧不一致 这种情况不存在并发问题么？不是的。...假设这会有两个请求，一个请求A做查询操作，一个请求B做更新操作，那么会有如下情形产生 缓存刚好失效 请求A查询数据库，得一个旧值 请求B将新值写入数据库 请求B删除缓存 请求A将查到的旧值写入缓存 如果发生上述情况...这种场景的出现，不仅需要缓存失效且读写并发执行，而且还需要读请求查询数据库的执行早于写请求更新数据库，同时读请求的执行完成晚于写请求。
本篇文章主要内容 缓存热点数据 为何要使用缓存 哪类数据适合缓存 缓存的利与弊 缓存和数据库双写一致性 不使用更新缓存而是删除缓存 先删除缓存，还是先操作数据库？...那么会出现如下情形: （1）请求A进行写操作，删除缓存 （2）请求B查询发现缓存不存在 （3）请求B去数据库查询得到旧值 （4）请求B将旧值写入缓存 （5）请求A将新值写入数据库 上述情况就会导致不一致的情形出现...A将查到的旧值写入缓存 ok，如果发生上述情况，确实是会发生脏数据。...（1）请求A进行写操作，删除缓存 （2）请求A将数据写入数据库了， （3）请求B查询缓存发现，缓存没有值 （4）请求B去从库查询，这时，还没有完成主从同步，因此查询到的是旧值 （5）请求B将旧值写入缓存...还有别忘了设置过期时间，这是个兜底方案 ❞ 结束语 本文总结了秒杀系统中关于缓存数据的思考和实现，并探讨了缓存数据库双写一致性问题。 「可以总结为如下几点：」 对于读多写少的数据，请使用缓存。
什么是缓存双写一致 只要用缓存，就可能会涉及到缓存与数据库双存储双写，你只要是双写，就一定会有数据一致性的问题。我们需要保证redis跟数据库的中的数据保持一致，返回正确的数据。...更新缓存还是删除缓存？ 删除缓存，而不是更新缓存 如果更新缓存，在并发写时，可能出现数据不一致。...然后写数据的休眠时间则在读数据业务逻辑的耗时基础上加百毫秒即可 这么做的目的,就是确保读请求结束,写请求可以删除读请求造成的缓存脏数据 先更新数据库，再删除缓存 场景描述 时间 线程A 线程B 出现的问题...binlog日志当中 订阅程序提取出所需要的数据以及key 另起一段非业务代码，获得该信息 尝试删除缓存操作，发现删除失败 将这些信息发送至消息队列 重新从消息队列中获得改数据，重试操作。...为什么要引入MQ 在应用程序将数据更新到数据库后,将更新操作发送到消息队列中,然后再由消息队列异步地触发删除缓存数据的操作 这样做的好处是，即使在更新数据库后发生异常或者网络延迟等问题,数据更新操作也已经被放到消息队列中
来源：https://www.jianshu.com/p/a8eb1412471f | 背景 在做系统优化时，想到了将数据进行分级存储的思路。...所以这里根据数据要求实时性不同将数据分为三级。 第1级：订单数据和支付流水数据；这两块数据对实时性和精确性要求很高，所以不添加任何缓存，读写操作将直接操作数据库。...第2级：用户相关数据；这些数据和用户相关，具有读多写少的特征，所以我们使用redis进行缓存。...这样就会造成数据库中的数据与缓存中数据不一致的问题。 接下来就讨论一下关于保证缓存和数据库双写时的数据一致性。 | 解决方案 那么我们这里列出来所有策略，并且讨论他们优劣性。...如果此时有大量的对数据库进行写数据的请求，但是读请求并不多，那么此时如果每次写请求都更新一下缓存，那么性能损耗是非常大的。
只要用缓存，就可能会涉及到缓存与数据库双存储双写，你只要是双写，就一定会有数据一致性的问题 那么，如何解决一致性问题？...解决方案如下： 更新数据的时候，根据数据的唯一标识，将操作路由之后，发送到一个 jvm 内部队列中。...读取数据的时候，如果发现数据不在缓存中，那么将重新读取数据+更新缓存的操作，根据唯一标识路由之后，也发送同一个 jvm 内部队列中。...像这种针对读高并发、读缓存架构的项目，一般来说写请求是非常少的，每秒的 QPS 能到几百就不错了。...实际粗略测算一下，如果一秒有 500 的写操作，分成 5 个时间片，每 200ms 就 100 个写操作，放到 20 个内存队列中，每个内存队列，可能就积压 5 个写操作。
双写一致性有以下三个要求： 缓存不能读到脏数据 缓存可能会读到过期数据，但要在可容忍时间内实现最终一致 这个可容忍时间尽可能的小 要想同时满足上面三条，可以采用读请求和写请求串行化，串到一个内存队列里去...有如下两点： 如果你是一个写数据库场景比较多，而读数据场景比较少的业务需求，采用这种方案就会导致数据压根还没读到，缓存就被频繁的更新，浪费性能。...同时有请求A和请求B进行更新操作，那么会出现: 请求A进行写操作，删除缓存 请求B查询发现缓存不存在 请求B去数据库查询得到旧值 请求B将旧值写入缓存 请求A将新值写入数据库上述情况就会导致不一致的情形出现...这么做，可以将缓存脏数据再次删除。 然而这种解决方案由于要休眠线程还是很影响吞吐量的 3. 先更新数据库，再删除缓存 这种方案是很多工程采用的方案，我们来看下是否一定安全。...假设有两个请求，一个请求A做查询操作，一个请求B做更新操作，那么会有如下情形产生 缓存刚好失效 请求A查询数据库，得一个旧值 请求B将新值写入数据库 请求B删除缓存 请求A将查到的旧值写入缓存 这样，脏数据就产生了
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
