关于消息队列的思考:如何满足多种消费语义

作者:杨锡坤

消息队列是服务架构中常见的组件,可用于服务间解耦、事件广播、任务异步/延迟处理等,本文对于消息队列的实现如何满足几种消费语义进行了阐述。

消息队列组成

● 生产者(Producer):负责产生消息

● 消息代理(Message Broker):负责存储/转发消息(转发分为推和拉两种,拉是指Consumer主动从Message Broker获取消息,推是指Message Broker主动将Consumer感兴趣的消息推送给Consumer)

● 消费者(Consumer):负责消费消息

消息队列的消费语义

  1. 消息至多被消费一次
  2. 消息至少被消费一次
  3. 消息仅被消费一次

为了支持上面3种消费语义,可以分3个阶段考虑消息队列系统中 Producer 、 Message Broker 、 Consumer 需要满足的条件:

1、消息至多被消费一次

该语义是最容易满足的,特点是整个消息队列吞吐量大,实现简单。适合能容忍丢消息,消息重复消费的任务。

Producer 发送消息到 Message Broker 阶段: Producer 发消息给 Message Broker ,不要求 Message Broker 对接收到的消息响应确认, Producer 也不用关心 Message Broker 是否收到消息了。

Message Broker 存储/转发阶段:对 Message Broker 的存储不要求持久性,转发消息时也不用关心 Consumer 是否真的收到了。

Consumer 消费阶段: Consumer 从 Message Broker 中获取到消息后,可以从 Message Broker 删除消息,或 Message Broker 在消息被 Consumer 拿去消费时删除消息,不用关心 Consumer 最后对消息的消费情况如何。

2、消息至少被消费一次

适合不能容忍丢消息,允许重复消费的任务。

Producer 发送消息到 Message Broker 阶段:Producer 发消息给 Message Broker , Message Broker 必须响应对消息的确认。

Message Broker 存储/转发阶段: Message Broker 必须提供持久性保障,转发消息时,Message Broker 需要 Consumer 通知删除消息,才能将消息删除。

Consumer 消费阶段: Consumer 从 Message Broker 中获取到消息,必须在消费完成后,Message Broker 上的消息才能被删除。

3、消息仅被消费一次

适合对消息消费情况要求非常高的任务,实现较为复杂。

在这里需要考虑一个问题,就是这里的“仅被消费一次”指的是如下哪种场景:

● Message Broker 上存储的消息被 Consumer 仅消费一次

● Producer 上产生的消息被 Consumer 仅消费一次

Message Broker 上存储的消息被 Consumer 仅消费一次场景要求:

Producer 发送消息到 Message Broker 阶段:Producer 发消息给 Message Broker ,不要求 Message Broker 对接收到的消息响应确认, Produce r也不用关心 Message Broker 是否收到消息了。

Message Broker 存储/转发阶段:Message Broker 必须提供持久性保障,并且每条消息在其消费队列里有唯一标识(这个唯一标识可以由 Producer 产生,也可以由 Message Broker 产生)。

Consumer 消费阶段: Consumer 从 Message Broker 中获取到消息后,需要记录下消费的消息标识,以便在后续消费中防止对某个消息重复消费(比如 Consumer 获取到消息,消费完后,还没来得及从 Message Broker 删除消息,就挂了,这样 Message Broker 如果把消息重新加入待消费队列的话,那么这条消息就会被重复消费了)。

Producer 上产生的消息被 Consumer 仅消费一次场景要求:

Producer 发送消息到 Message Broker 阶段:Producer 发消息给 Message Broker , Message Broker 必须响应对消息的确认,并且 Producer 负责为该消息产生唯一标识,以防止 Consumer 重复消费(因为 Producer 发消息给 Message Broker 后,由于网络问题没收到 Message Broker 的响应,可能会重发消息给到 Message Broker )。

Message Broker存储/转发阶段:Message Broker必须提供持久性保障,并且每条消息在其消费队列里有唯一标识(这个唯一标识需要由Producer产生)。

Consumer消费阶段:Consumer 从 Message Broker 中获取到消息后,需要记录下消费的消息标识,以便在后续消费中防止对某个消息重复消费(比如 Consumer 获取到消息,消费完后,还没来得及从 Message Broker 删除消息,就挂了,这样 Message Broker 如果把消息重新加入待消费队列的话,那么这条消息就会被重复消费了)。

结语

现在业内已经有许多成熟的消息队列的实现了,对于选择用哪一个实现,可以先根据业务需要支持的消费语义进行初步筛选,之后再根据运维难度、社区活跃度、性能、可用性等综合考虑选择合适的消息队列系统,如何判断一个消息队列实现是否支持某个消费语义,根据本文中阐述的3个阶段去判断即可。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏蓝天

MOOON-scheduler问题讨论:消息如何传递回去和主动发送出去?

2.所有Service进程不加载dispachter,只内核加载一份dispatcher,消息发出时,总是需要通过内核

592
来自专栏IT技术精选文摘

Kafka架构

首先,如果您不确定Kakfa是什么,请参阅这篇文章(http://cloudurable.com/blog/what-is-kafka/index.html)。...

2206
来自专栏伦少的博客

Spark架构原理

2055
来自专栏大数据学习笔记

Spark2.x学习笔记:11、RDD依赖关系与stage划分

11、 RDD依赖关系与stage划分 Spark中RDD的高效与DAG图有着莫大的关系,在DAG调度中需要对计算过程划分stage,而划分依据就是RDD之间的...

2295
来自专栏Web 开发

SPDY/3.1

好不容易等到SPDY进入了nginx的ubuntu官方包,Chrome和Firefox开始不支持SPDY/2协议,必须升级到SPDY/3以上版本。

370
来自专栏LuckQI

学习Java基础知识,打通面试关十~IO流

1245
来自专栏个人分享

Spark运行流程概述

993
来自专栏about云

kafka学习线路指导入门:包括理论、部署、实战知识汇总整理

每个人有每个人的学习思路,这里根据自己的思路来总结汇总下 思路: 1.什么是kafka,kafka基础理论知识 2.部署实践 3.实战相关知识 1.什么是ka...

4396
来自专栏知识分享

关于STM32的外部引脚中断的问题

今天想用自己以前的比较干净的工程模板做一个东西,,,,,,,在添加上引脚中断的时候,,突然想知道自己配置的中断优先级是否正确执行,,,,, 以前刚学习32的时候...

3266
来自专栏用户画像

3.2.5 抖动

在页面置换过程中的一种最糟糕的情形是,刚刚置换的页面马上又要换入主存,刚刚换出的页面马上又换入主存,刚刚换入的页面马上就要换出主存,这种频繁的页面调度行为称为抖...

861

扫码关注云+社区