【面试必备】聊聊高性能延时队列应用
延时队列的应用场景:
下单后,30分钟内未付款就自动取消订单等； 支付后，24小时未评论自动好评； 在我们实际开发过程中，应用场景很多...
基于Redis Zset 实现
实现原理
Redis由于其自身的Zset数据结构，也同样可以实现延时的操作。 Zset本质就是Set结构上加了个排序的功能，除了添加数据value之外，还提供另一属性score，这一属性在添加元素时候可以指定，每次指定score后，Zset会自动重新按新的值调整顺序。
- 如果score代表的是想要执行时间的时间戳，在某个时间将它插入Zset集合中，它会按照时间戳大小进行排序，也就是对执行时间前后进行排序。
> ZADD delay_queue 1581309229 taskId_1
(integer) 1
> ZADD delay_queue 1581309129 taskId_2
(integer) 1
> ZADD delay_queue 1581309329 taskId_3
(integer) 1- 不断地进行取第一个key值，如果当前
时间戳大于等于该key值的socre就将它取出来进行消费删除，就可以达到延时执行的目的。 注意不需要遍历整个Zset集合，以免造成性能浪费。
> ZRANGE delay_queue 0 -1 withscores
1) "taskId_2"
2) "1581309129"
3) "taskId_1"
4) "1581309229"
5) "taskId_3"
6) "1581309329"使用注意
- 遍历逻辑，删除逻辑，注意使用
Redis Lua封装，确保原子性操作。更要注意Redis Lua在 Redis Cluster 的伪集群问题。 - 若是JAVA 语言可以直接使用
redisson，封装了DelayedQueue的实现。
源码逻辑 org/redisson/RedissonDelayedQueue.java
Beanstalkd 消息队列
Beanstalkd，一个高性能、轻量级的分布式内存队列系统。支持过有9.5 million用户的Facebook Causes应用。后来开源，现在有PostRank大规模部署和使用，每天处理百万级任务。
部署使用
- Linux 安装 || docker 部署
yum install beanstalkd
||
docker run -d -p 11300:11300 pig4cloud/beanstalkd- 客户端使用,pom 依赖
<!--封装了 官方的 java sdk，只支持 springboot 2.X-->
<dependency>
<groupid>com.pig4cloud.beanstalk</groupid>
<artifactid>beanstalkd-client-spring-boot-starter</artifactid>
<version>0.0.1</version>
</dependency>- 默认配置
- 代码使用
@Autowired
private JobProducer producer;
/**
* @param delay 是一个整形数，表示将job放入ready队列需要等待的秒数
* @param ttr time to run—是一个整形数，表示允许一个worker执行该job的秒数。这个时间将从一个worker 获取一个job开始计算。
* 如果该worker没能在<ttr> 秒内删除、释放或休眠该job，这个job就会超时，服务端会主动释放该job。
* 最小ttr为1。如果客户端设置了0，服务端会默认将其增加到1。
* @param priority 优先级 0~2**32的整数，最高优先级是0
*/
@Test
public void testSend() {
String taskId = "1";// 业务对象信息
producer.putJob(0, 10, 10, taskId.getBytes());
}@Component
public class DemoJobConsumer extends AbstractTubeConsumerListener {
@Override
public void work(JobConsumer consumer) {
// 阻塞多少秒获取一次 Job
Job job = consumer.reserveJob(1000L);
// 消费此Job
consumer.deleteJob(job.getId());
// 执行延时的业务逻辑
String biz = new String(job.getData());
}
}扩展
- 数据库，利用定时任务轮询实现，业务量大会性能瓶颈。
- 延时队列的其他实现，比如 rabbitmq 利用ttl特性可以实现。无法取消已放入队列里面的数据，使用时特别注意死信队列的配置等。
- 还可以自己根据 时间轮片的算法 自行实现 。
- 总之一切，都要有补偿的逻辑，无论是业务人员手动触发还是自动补偿。
> 项目推荐: Spring Cloud 、Spring Security OAuth2的RBAC权限管理系统 欢迎关注 </ttr>
本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读