我们通常使用 缓存 + 过期时间的策略来帮助我们加速接口的访问速度,减少了后端负载,同时保证功能的更新。
缓存系统,按照KEY去查询VALUE,当KEY对应的VALUE一定不存在的时候并对KEY并发请求量很大的时候,就会对后端造成很大的压力。
查询一个必然不存在的数据。比如文章表,查询一个不存在的id,每次都会访问DB,如果有人恶意破坏,很可能直接对DB造成影响。
由于缓存不命中,每次都要查询持久层(回源),从而失去缓存的意义。
注意事项: 使用布隆过滤器时,如果数据库中有10000个条件,那么布隆过滤器的容量size设置的要稍微比10000大一些,比如12000。 对于误判率的设置,根据实际项目,以及硬件设施来具体决定。但是一定不能设置为0,并且误判率设置的越小,哈希函数跟数组长度都会更多跟更长,那么对硬件,内存中间的要求就会相应的高。
private static BloomFilter<Integer> bloomFilter = BloomFilter.create(Funnels.integerFunnel(), size, 0.0001);
有了size跟误判率,那么布隆过滤器就会产生相应的哈希函数跟数组。 综上: 我们可以利用布隆过滤器,将redis缓存击穿控制在一个可容忍的范围内。
如果缓存集中在一段时间内失效,发生大量的缓存穿透,所有的查询都落在数据库上,造成了缓存雪崩。
缓存层宕掉后,流量会像奔逃的野牛一样,打向后端存储。
于是就会出现一个致命问题:在缓存失效的瞬间,有大量线程来构建缓存(见下图),造成后端负载加大,甚至可能会让系统崩溃 。
作为一个并发量较大的互联网应用,我们的目标有3个:
所以第二节中提到的四种方法,可以做如下比较,还是那就话:没有最好,只有最合适。
解决方案 | 优点 | 缺点 |
---|---|---|
简单分布式锁(Tim yang) | 1. 思路简单<br />2. 保证一致性 | 1. 代码复杂度增大<br />2. 存在死锁的风险<br />3. 存在线程池阻塞的风险 |
加另外一个过期时间(Tim yang) | 1. 保证一致性 | 同上 |
不过期(本文) | 1. 异步构建缓存,不会阻塞线程池 | 1. 不保证一致性。<br />2. 代码复杂度增大(每个value都要维护一个timekey)。<br />3. 占用一定的内存空间(每个value都要维护一个timekey)。 |
资源隔离组件hystrix(本文) | 1. hystrix技术成熟,有效保证后端。<br />2. hystrix监控强大。 | 1. 部分访问存在降级策略。 |