『互联网架构』软件架构-rocketmq之初识消息中间件（60）

有没有用过消息中间件的老铁，基本如果从事互联网行业的老铁都用过消息中间件，企业开发也有用过的。基本上现在基本都用过，老铁们一起梳理下，消息中间件，然后进入rocketmq。

（一）什么是消息中间件

• 个人理解

随着服务的增多，并发增大，公司无力开发一些功能，需要中间件这种消息通信。

• 官方解释

消息中间件利用高效可靠的消息传递机制进行平台无关的数据交流，并基于数据通信来进行 分布式系统 的集成。通过提供消息传递和消息排队模型，它可以在分布式环境下扩展进程间的通信。

• 消息

消息即为数据，数据就会有规则，有长度，有大小。 标准JMS（JSR914）：https://www.jcp.org/en/jsr/detail?id=914Java Message Service简称JMS，为Java 程序提供一种通用的方式，来创建、发送、接收以及读取企业消息系统的消息。

• JMS 元素

1. Provider提供方：服务提供者。
2. Producer生产者：创建和发送JMS消息的客户端。
3. Consumer消费者：接收JMS消息的客户端。
4. Client客户端：生产或消费消息的应用&进程。
5. Message消息：服务端与客户端之间的传输数据对象。
6. Queue队列 ：包含待读取消息的准备区域（点对点）。
7. Topic主题：发布消息的分布机制（发布&订阅）。

• JMS提供五种消息主体

1. StreamMessage（流）
2. MapMessage（属性集合）
3. TextMessage（文本、字符串）
4. ObjectMessage、BytesMessage（字节）

• 中间件

为我们提供发送消息的程序或者服务. RocketMq、 Kafka、ActiveMq（严格jms jsr914）、RabbitMq

（二）为什么要用消息中间件

• 双11数据的实时展示

• 追溯原因

电商系统都比较大，里面有很多个系统，里面有N多的系统，订单系统，营销系统，日志表系统，物流系统，积分系统，统计系统。如果RPC框架调用方式就例如下图：

双11来了，因为短时间内流量很大，需要对一些系统进行降级，日志表系统，积分系统，这些系统需要关闭。服务不可用。但是统计系统必须要用，需要实时的查看系统的情况。

可以看到一个很明显的问题。它们的耦合性问题，假设系统都已经做好了，也就是订单系统联调右边的任何系统都没问题了。订单系统调用其他系统实在是太多了，如果又增加新系统，就会让订单系统修改添加新的系统RPC接口。

其实增加一个系统对于订单系统没问题，改改代码就完了，也就是不停的升级版本，1.0版本，2.0版本，可能到最后打死也不改的版本。

问题 1.下游系统修改影响上游系统。 2.依赖关系很深。

• 使用了消息中间件的效果

订单系统跟下游的系统没有关系，只跟中间件有关系，下游想获取订单系统的信息，跟我的小秘【消息中间件】说吧，我不会回答你任何问题。我有什么事情直接给小秘说了，你访问我的小秘，他如果知道他会告诉你一切。我告诉小秘的事情，小秘会等我说完，告诉其他人，我可以去干别的事情了。消息中间价的作用就是有事找小秘。

好处：

1.带来了异步。

如果原来的RPC，都是连接的订单系统，串行执行下游系统前4个都没问题，第5个物流系统出问题了，就需要回滚。直接影响到了系统的性能。使用了消息中间件后，订单中心把数据访问直接给消息中间件后，就立刻入mysql库了。等物流系统起来后，在进行处理，不会影响系统，不会回滚，这样就是异步处理。

2.系统进行了解耦。

RPC需要服务端生成对应的jar包，客户端通过RPC远程调用的使用依赖jar包，统计系统连接订单系统的时候需要下载一个对应的jar，日志系统连接订单系统的时候也需要下载一个对应的jar。他们互相调用的时候会有个响应码。耦合性就非常非常的强。所以消息中间件就是为了解耦。所有的系统都去调用消息中间件， 不足 1.复杂性（中间多了一个人小秘） 2.可靠性 （可靠吗小秘，别出错，公司的机密别乱说） 3.性能 （必须多了一个肯定没有直接说传达的快）

（三）什么是Rocketmq

• 产品发展历史

Metaq（Metamorphosis） 1.x

由开源社区 killme2008 维护，开源社区非常活跃。

Metaq 2.x

于 2012 年 10 月份上线，在淘宝内部被广泛使用。

RocketMQ 3.x

基于公司内部开源共建原则， RocketMQ 项目只维护核心功能，且去除了所有其他运行时依赖，核心功能最 简化。每个 BU 的个性化需求都在 RocketMQ 项目之上进行深度定制。RocketMQ 向其他 BU 提供的仅仅是Jar 包，例如要定制一个 Broker，那么只需要依赖 rocketmq-broker 这个 jar 包即可，可通过 API 进行交互，如果定制 client，则依赖 rocketmq-client 这个 jar 包，对其提供的 api 进行再封装。

• 官网

http://rocketmq.apache.org/

• 什么是RocketMq

1. 国内阿里开源 java语言写的。贡献给apache 4.2版本
2. 简称Rmq并没有严格遵循jms规范（参考）。本身电商背景有关。
3. Java版本的kafka
4. Storm（实时计算框架） jstrom（java写的）

• 为什么选择RocketMq

1. 稳定无单点故障（不会因为某台机器或者某个节点宕机而影响系统正常使用）。
2. 集群功能完善。
3. 经历过双十一（你们公司的肯定没有淘宝双11的值高吧）。
4. Java语言实现。
5. 架构轻、源码可读性好（更面向过程符合国人的风格）。
6. 生态圈完善，配套好。
7. 开源社区活跃。

• Rocketmq 术语

producer

消息生产者，负责产生消息，一般由业务系统负责产生消息。

consumer

消息消费者，负责消费消息，一般是后台系统负责异步消息。

Push Consumer

consumer的一种，应用通常向Consumer对象注册一个Listener接口，一旦收到消息，Consumer对象立刻回调Listener接口方法。

Pull Consumer

Consumer的一种，应用通常主动调用Consumer的拉消息方法从Broker拉消息，主动权由应用控制。

Producer Group

一类Producer的集合名称，这类Producer通常发送一类消息，且发送逻辑一致。

Consumer Group

一类Consumer的集合名称，这类Consumer通常消费一类消息，且消费逻辑一致。

Broker

消息中转角色，负责存储消息，转发消息，一般也称为Server，在JMS规范中称为Provider。

广播消费

一条消息被多个Consumer消费，即使这些Consumer属于同一个Consumer Group，消息也会被Consumer Group中的每个Consumer都消费一次，广播消费中 的Consumer Group概念可以认为在消息划分方便无意义。在JMS规范中，相当于JMS publilsh/subscribe model。

顺序消息

消费信息的顺序要同发送消息的顺序一致，在RocketMQ中，主要指的是局部顺序，即一类消息为满足顺序性，必须Producer单线程顺序发送，且发送到同一个队列，这样Consumer就可以按照Producer发送的顺序去消费消息。

普通顺序消息

顺序消息的一种，正常情况下可以保证完全的顺序消息，但是一旦发生通信异常，Broker重启，由于队列总数发生变化，哈希取模后定位的队列会变化，产生短暂的消息顺序不一致。如果业务能容忍在集群异常的情况下（如某个Broker宕机或者重启）下，消息短暂的乱序，使用普通顺序方式比较合适。

严格顺序消息

顺序消息的一种，无论正常异常情况下都能保证顺序，但是牺牲了分布式FailOVer特性，即Broker集群中只要有一台机器不可用，则整个集群都不可用，服务可用性大大降低。如果服务器部署为同步双写模式，此缺陷可通过备机自动切换为主避免，不过仍然会存在几分钟的服务不可用（依赖同步双写，主备切换，自动切换功能目前还未实现）目前已知的应用只有数据库binlog同步强依赖严格顺序消息，其他应用绝大部分都可以容忍短暂乱序，推荐使用普通的顺序消息。

Message Queue

在RocketMQ中，所有的消息队列都是持久化，长度无限的数据结构，所谓的长度无限是指队列中的每个存储单元都是定长，访问其中的存储单元使用offset来访问，offset为java long类型，64位，理论上在100年内不会溢出，所以认为是长度无限的，另外队列中只保存最近几天的数据，之前的数据会按照过期时间来删除。也可以认为Message Queue是一个长度无限的数组，offset就是下标。

消息过滤

订阅者可以根据消息标签（Tag）对消息进行过滤，确保订阅者最终只接收被过滤后的消息类型，消息过滤在MQ服务端完成。

消息轨迹

在一条消息从发布者到订阅者消费处理过程中，由各个相关节点的时间、地点等数据汇聚而成的完整链路信息。通过消息轨迹，用户能清晰定位消息从发布者发出，经由MQ服务端，投递给消息订阅者的完整链路，方便定位排查问题。

重置消费位点

以时间轴为坐标，在消息持久化存储的时间范围内（默认3天），重新设置消息订阅者对其订阅Topic的消费进度，设置完成后订阅者将接收设定时间点之后由消息发布者发送到MQ服务端的消息。

（四）RocketMq部署图

Name Server：注册中心（zookeeper）频繁更新offset。 Producer：消息生产者 生产消息 寄件人。 Consumer：消息消费者、复制消息消费、收件人。 Broker：中介（邮政） 提供消息中转服务。 Group ：分组好处（业务区分，便于管理）。 Tag：多个标签 where 。 Key：区分业务系统 。 Msgid： broker在这个系统中它是独一无二的。

PS：消息中间件的最重要的作用是异步和解耦。其实这里主要说了都是概念，下节开始实战下。