RabbitMQ 学习笔记1 - RabbitMQ简介和AMQP详解

0. 背景

消息队列（Message Queue）提供一个异步通信机制，消息的发送者不必苦苦等待着消息被处理完成，转而继续自己的工作。消息中间件负责处理网络通信，如果网络连接不可用，消息被暂存于队列当中，当网络畅通的时候再用。消息队列在企业中应用很广泛，可选择的有ActiveMQ、RabbitMQ，Kafka，阿里巴巴自主开发RocketMQ等。本文讨论 RabbitMQ 。

RabbitMQ

1.介绍

欲了解 RabbitMQ 先要了解 MQ。 RabbitMQ 是 MQ 的一种实现。

1.1 MQ 介绍

MQ（Message Queue）消息队列，是基础数据结构中“先进先出”的一种数据结构。一般用来解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。

它由这些组成：

• 生产者：生产者产生消息，并把消息放入队列。
• 队列：把要传输的数据（消息）放在队列中，用队列机制来实现消息传递。生产者产生消息并把消息放入队列，然后由消费者去处理。
• 消费者：消费者可以到指定队列拉取消息，或者订阅相应的队列，由MQ服务端给其推送消息。

作用：

• 解耦：对应用/模块进行分离，引入了消息代理作为中间消息服务
• 异步：主业务执行中将消息放入MQ后不等待，从业务异步执行返回结果。
• 削峰：高并发情况下，业务异步处理，提供高峰期业务处理能力，避免系统瘫痪

RabbitMQ 是 MQ 的一种实现，下面介绍下 RabBMQ。

1.2 RabbitMQ 介绍

RabBMQ是一个广泛部署的开源消息代理。

RabbitMQ 流式管道

特点：

• 异步消息传递
• 易于部署
• 支持集群，用于高可用性和吞吐量。支持分布式部署。
• 开发者友好，支持各种流行的开发语言。比如Java,Ruby,GO。
• 方便的 管理与监控 工具

2. AMQP（高级消息队列协议）概述

RabbitMQ 是一个实现了 AMQP协议 的工具软件，所以 AMQP 中的概念和准则也适用于 RabbitMQ。下面重点介绍AMQP，它能帮助我们深刻的理解。

AMQP（高级消息队列协议）是一个网络协议。它支持符合要求的客户端应用 和消息中间件代理之间进行通信。

为什么会有 AMQP？

软件系统中存在不同厂商的不兼容产品的问题，异构系统的集成是非常昂贵和复杂的。早期的消息传递解决方案也非常昂贵，往往专门用于大公司负担得起。

AMQP 设计目标：

• 为消息中间件创建开放标准
• 启用各种技术和平台之间的互操作性

AMQP 不仅使这些不同的系统能够相互通信，而且能够实现不同的产品。

消息中间件（经纪人）及其角色

“消息代理” 收到 “消息生产者”并将它们 “路由” 到 “消费者”。

（发布它们的应用程序） --> 消息代理 ---> （处理它们的应用程序）

2. AMQP 模型简介

2.1 工作过程

它工作过程如下图：

• 消息（Message）被发布者（Publisher）发送给交换机（Exchange）
• 交换机（Exchange）可以理解成邮局，交换机将收到的消息根据路由规则分发给绑定的队列（Queue）
• 最后，AMQP代理会将消息投递给订阅了此队列的消费者（Consumer），或者消费者按照需求自行获取。

image.png

一些其他情况： 消息属性： 发布消息时可以给消息指定各种消息属性（message meta-data）。有些属性会被消息代理（brokers）使用，有些只能被接收消息的应用所使用。

回执（acknowledgement）： 网络是不可靠的，有可能在处理消息的时候失败。AMQP 包含了一个消息确认的概念：当一个消息成功到达消费者后（consumer），消费者会通知一下消息代理（broker），这个可以是自动的也可以由开发者执行。

当“消息确认”被启用的时候，消息代理不会完全将消息从队列中删除，直到它收到来自消费者的确认回执（acknowledgement）。

无法到达 当一个消息无法被成功路由时，消息或许会被返回给发布者并被丢弃。或者，如果消息代理执行了延期操作，消息会被放入一个所谓的死信队列中。此时，消息发布者可以选择某些参数来处理这些特殊情况。

2.2 AMQP 内部模型

image.png

3. 交换机（Exchange)

交换机是要掌握的重点，这一章节重点来讲。

交换机 用来传输消息的，交换机拿到一个消息之后将它路由给一个队列。

它的传输策略是由交换机类型和被称作绑定（bindings）的规则所决定的。

四种交换机：

交换机状态 交换机可以有两个状态：持久（durable）、暂存（transient）。持久化的交换机会在消息代理（broker）重启后依旧存在，而暂存的交换机则不会。并不是所有的应用场景都需要持久化的交换机。

下面分别说明四种交换机类型

3.1 直连型交换机（ Direct Exchange）

消息可以携带一个属性 “路由键（routing key）”，以辅助标识被路由的方式。直连型交换机（direct exchange）根据消息携带的路由键将消息投递给对应队列的。

它如何工作：

• 将一个队列绑定到某个交换机上，同时赋予该绑定（Binding）一个路由键（routing key）
• 当一个携带着路由键为 “key1” 的消息被发送给直连交换机时，交换机会把它路由给 “Binding名称等于 key1” 的队列。

直连型交换机图例

总结： Binding 的 Routing Key 要和 消息的 Routing Key 完全匹配

3.2 扇型交换机 （ Fanout Exchange）

扇型交换机将消息路由给绑定到它身上的所有队列，而不理会绑定的路由键。

如果N个队列绑定到某个扇型交换机上，当有消息发送给此扇型交换机时，交换机会将消息的拷贝分别发送给这所有的N个队列。扇型用来交换机处理消息的广播路由（broadcast routing）。

案例：

• MMO游戏可以使用它来处理排行榜更新等全局事件
• 体育新闻网站可以用它来实时地将比分更新分发给多端
• 在群聊的时候，它被用来分发消息给参与群聊的用户。

扇型交换机图例

总结 不管 消息的Routing Key，广播给这个交换机下的所有绑定队列。

3.3 主题交换机（ Topic Exchanges）

主题交换机通过对消息的路由键和 “绑定的主题名称” 进行模式匹配，将消息路由给匹配成功的队列。

它的工作方式：

• 为绑定的 Routing Key 指定一个 “主题”。模式匹配用用 *, # 等字符进行模糊匹配。比如 usa.# 表示 以 usa.开头的多个消息 到这里来。
• 交换机将按消息的 Routing Key 的值的不同路由到 匹配的主题队列。

主题交换机经常用来实现各种分发/订阅模式及其变种。主题交换机通常用来实现消息的多播路由（multicast routing）。

image.png

使用案例：

• 由多个人完成的后台任务，每个人负责处理某些特定的任务
• 股票价格更新涉及到分类或者标签的新闻更新（

总结： 绑定 的 Routing Key 和 消息的 Routing Key 进行字符串的模糊匹配。

3.4 头交换机 (Headers exchange)

头交换机使用多个消息属性来代替路由键建立路由规则。通过判断消息头的值能否与指定的绑定相匹配来确立路由规则。

在实际中并不常用。

4. 相关实体概念

4.1 队列（ Queue ）

队列 存储着即将被应用消费掉的消息。

名称 可以为队列指定一个名称。

队列持久化

• 持久化队列（Durable queues）会被存储在磁盘上，当消息代理（broker）重启的时候，它可以被重新恢复。
• 没有被持久化的队列称作暂存队列（Transient queues）

4.2 绑定（Binding）

绑定是交换机（exchange）将消息（message）路由给队列（queue）所需遵循的规则。

如果要指示交换机“E”将消息路由给队列“Q”，那么“Q”就需要与“E”进行绑定。绑定操作需要定义一个可选的路由键（routing key）属性给某些类型的交换机。

路由键的意义在于从发送给交换机的众多消息中选择出某些消息，将其路由给绑定的队列。

4.3 消费者 （ Consumer ）

消费者即使用消息的客户。

消费者标识 每个消费者（订阅者）都有一个叫做消费者标签的标识符。它可以被用来退订消息。

一个队列可以注册多个消费者，也可以注册一个独享的消费者（当独享消费者存在时，其他消费者即被排除在外）。

4.4 消息确认 (acknowledgement)

什么时候删除消息才是正确的？有两种情况

• 自动确认模式：当消息代理（broker）将消息发送给应用后立即删除。
• 显式确认模式：待应用（application）发送一个确认回执（acknowledgement）后再删除消息。

在显式模式下，由消费者来选择什么时候发送确认回执（acknowledgement）。

• 应用可以在收到消息后立即发送
• 或将未处理的消息存储后发送
• 或等到消息被处理完毕后再发送确认回执。

如果一个消费者在尚未发送确认回执的情况下挂掉了，那代理会将消息重新投递给另一个消费者。如果当时没有可用的消费者了，消息代理会死等下一个注册到此队列的消费者，然后再次尝试投递。

拒绝消息

当一个消费者接收到某条消息后，处理过程有可能成功，有可能失败。

应用可以向消息代理表明，本条消息由于“拒绝消息（Rejecting Messages）”的原因处理失败了（或者未能在此时完成）。当拒绝某条消息时，应用可以告诉消息代理如何处理这条消息——销毁它或者重新放入队列。

4.5 消息 ( Message )

消息的组成：

• 消息属性
• 消息主体（有效载荷）

消息属性（Attributes）常见的有：

• Content type（内容类型）
• Content encoding（内容编码）
• Routing key（路由键）
• Delivery mode (persistent or not) 投递模式（持久化 或 非持久化）
• Message priority（消息优先权）
• Message publishing timestamp（消息发布的时间戳）
• Expiration period（消息有效期）
• Publisher application id（发布应用的ID）

消息体：

• 消息体即消息实际携带的数据，消息代理不会检查或者修改有效载荷。
• 消息可以只包含属性而不携带有效载荷。
• 它通常会使用类似JSON这种序列化的格式数据。
• 常常约定使用"content-type" 和 "content-encoding" 这两个字段分辨消息。

4.5 连接 (Connection)

AMQP 连接通常是长连接。AMQP是一个使用TCP提供可靠投递的应用层协议。AMQP使用认证机制并且提供TLS（SSL）保护。

当一个应用不再需要连接到AMQP代理的时候，需要优雅的释放掉AMQP连接，而不是直接将TCP连接关闭。

4.6 通道 （channels）

AMQP 提供了通道（channels）来处理多连接，可以把通道理解成共享一个TCP连接的多个轻量化连接。

这可以应对有些应用需要建立多个连接的情形，开启多个TCP连接会消耗掉过多的系统资源。

在多线程/进程的应用中，为每个线程/进程开启一个通道（channel）是很常见的，并且这些通道不能被线程/进程共享。

通道号 通道之间是完全隔离的，因此每个AMQP方法都需要携带一个通道号，这样客户端就可以指定此方法是为哪个通道准备的。

4.7 虚拟主机 (vhost)

为了在一个单独的代理上实现多个隔离的环境（用户、用户组、交换机、队列 等），AMQP提供了一个虚拟主机（virtual hosts - vhosts）的概念。

这跟Web servers虚拟主机概念非常相似，这为AMQP实体提供了完全隔离的环境。当连接被建立的时候，AMQP客户端来指定使用哪个虚拟主机。

5. 参考：

https://www.rabbitmq.com/

https://www.cnblogs.com/dwlsxj/p/RabbitMQ.html

http://rabbitmq.mr-ping.com/AMQP/AMQP_0-9-1_Model_Explained.html

https://rubydoc.info/github/ruby-amqp/amqp/master/file/docs/AMQP091ModelExplained.textile

https://www.rabbitmq.com/blog/tag/amqp-10/

https://github.com/rabbitmq/rabbitmq-amqp1.0

https://www.cnblogs.com/dwlsxj/p/RabbitMQ.html

https://www.cnblogs.com/sgh1023/p/11217017.html

END