『互联网架构』软件架构-rocketmq之初识消息中间件(60)

有没有用过消息中间件的老铁,基本如果从事互联网行业的老铁都用过消息中间件,企业开发也有用过的。基本上现在基本都用过,老铁们一起梳理下,消息中间件,然后进入rocketmq。

(一)什么是消息中间件

  • 个人理解

随着服务的增多,并发增大,公司无力开发一些功能,需要中间件这种消息通信。

  • 官方解释

消息中间件利用高效可靠的消息传递机制进行平台无关的数据交流,并基于数据通信来进行 分布式系统 的集成。通过提供消息传递和消息排队模型,它可以在分布式环境下扩展进程间的通信。

  • 消息

消息即为数据,数据就会有规则,有长度,有大小。 标准JMS(JSR914):https://www.jcp.org/en/jsr/detail?id=914Java Message Service简称JMS,为Java 程序提供一种通用的方式,来创建、发送、接收以及读取企业消息系统的消息。

  • JMS 元素
  1. Provider提供方:服务提供者。
  2. Producer生产者:创建和发送JMS消息的客户端。
  3. Consumer消费者:接收JMS消息的客户端。
  4. Client客户端:生产或消费消息的应用&进程。
  5. Message消息:服务端与客户端之间的传输数据对象。
  6. Queue队列 :包含待读取消息的准备区域(点对点)。
  7. Topic主题:发布消息的分布机制(发布&订阅)。
  • JMS提供五种消息主体
  1. StreamMessage(流)
  2. MapMessage(属性集合)
  3. TextMessage(文本、字符串)
  4. ObjectMessage、BytesMessage(字节)
  • 中间件

为我们提供发送消息的程序或者服务. RocketMq、 Kafka、ActiveMq(严格jms jsr914)、RabbitMq

(二)为什么要用消息中间件

  • 双11数据的实时展示
  • 追溯原因

电商系统都比较大,里面有很多个系统,里面有N多的系统,订单系统,营销系统,日志表系统,物流系统,积分系统,统计系统。如果RPC框架调用方式就例如下图:

双11来了,因为短时间内流量很大,需要对一些系统进行降级,日志表系统,积分系统,这些系统需要关闭。服务不可用。但是统计系统必须要用,需要实时的查看系统的情况。

可以看到一个很明显的问题。它们的耦合性问题,假设系统都已经做好了,也就是订单系统联调右边的任何系统都没问题了。订单系统调用其他系统实在是太多了,如果又增加新系统,就会让订单系统修改添加新的系统RPC接口。

其实增加一个系统对于订单系统没问题,改改代码就完了,也就是不停的升级版本,1.0版本,2.0版本,可能到最后打死也不改的版本。

问题 1.下游系统修改影响上游系统。 2.依赖关系很深。

  • 使用了消息中间件的效果

订单系统跟下游的系统没有关系,只跟中间件有关系,下游想获取订单系统的信息,跟我的小秘【消息中间件】说吧,我不会回答你任何问题。我有什么事情直接给小秘说了,你访问我的小秘,他如果知道他会告诉你一切。我告诉小秘的事情,小秘会等我说完,告诉其他人,我可以去干别的事情了。消息中间价的作用就是有事找小秘。

好处:

1.带来了异步。

如果原来的RPC,都是连接的订单系统,串行执行下游系统前4个都没问题,第5个物流系统出问题了,就需要回滚。直接影响到了系统的性能。使用了消息中间件后,订单中心把数据访问直接给消息中间件后,就立刻入mysql库了。等物流系统起来后,在进行处理,不会影响系统,不会回滚,这样就是异步处理。

2.系统进行了解耦。

RPC需要服务端生成对应的jar包,客户端通过RPC远程调用的使用依赖jar包,统计系统连接订单系统的时候需要下载一个对应的jar,日志系统连接订单系统的时候也需要下载一个对应的jar。他们互相调用的时候会有个响应码。耦合性就非常非常的强。所以消息中间件就是为了解耦。所有的系统都去调用消息中间件, 不足 1.复杂性(中间多了一个人小秘) 2.可靠性 (可靠吗小秘,别出错,公司的机密别乱说) 3.性能 (必须多了一个肯定没有直接说传达的快)

(三)什么是Rocketmq

  • 产品发展历史

Metaq(Metamorphosis) 1.x

由开源社区 killme2008 维护,开源社区非常活跃。

Metaq 2.x

于 2012 年 10 月份上线,在淘宝内部被广泛使用。

RocketMQ 3.x

基于公司内部开源共建原则, RocketMQ 项目只维护核心功能,且去除了所有其他运行时依赖,核心功能最 简化。每个 BU 的个性化需求都在 RocketMQ 项目之上进行深度定制。RocketMQ 向其他 BU 提供的仅仅是Jar 包,例如要定制一个 Broker,那么只需要依赖 rocketmq-broker 这个 jar 包即可,可通过 API 进行交互,如果定制 client,则依赖 rocketmq-client 这个 jar 包,对其提供的 api 进行再封装。

  • 官网

http://rocketmq.apache.org/

  • 什么是RocketMq
  1. 国内阿里开源 java语言写的。贡献给apache 4.2版本
  2. 简称Rmq并没有严格遵循jms规范(参考)。本身电商背景有关。
  3. Java版本的kafka
  4. Storm(实时计算框架) jstrom(java写的)
  • 为什么选择RocketMq
  1. 稳定无单点故障(不会因为某台机器或者某个节点宕机而影响系统正常使用)。
  2. 集群功能完善。
  3. 经历过双十一(你们公司的肯定没有淘宝双11的值高吧)。
  4. Java语言实现。
  5. 架构轻、源码可读性好(更面向过程符合国人的风格)。
  6. 生态圈完善,配套好。
  7. 开源社区活跃。
  • Rocketmq 术语

producer

消息生产者,负责产生消息,一般由业务系统负责产生消息。

consumer

消息消费者,负责消费消息,一般是后台系统负责异步消息。

Push Consumer

consumer的一种,应用通常向Consumer对象注册一个Listener接口,一旦收到消息,Consumer对象立刻回调Listener接口方法。

Pull Consumer

Consumer的一种,应用通常主动调用Consumer的拉消息方法从Broker拉消息,主动权由应用控制。

Producer Group

一类Producer的集合名称,这类Producer通常发送一类消息,且发送逻辑一致。

Consumer Group

一类Consumer的集合名称,这类Consumer通常消费一类消息,且消费逻辑一致。

Broker

消息中转角色,负责存储消息,转发消息,一般也称为Server,在JMS规范中称为Provider。

广播消费

一条消息被多个Consumer消费,即使这些Consumer属于同一个Consumer Group,消息也会被Consumer Group中的每个Consumer都消费一次,广播消费中 的Consumer Group概念可以认为在消息划分方便无意义。在JMS规范中,相当于JMS publilsh/subscribe model。

顺序消息

消费信息的顺序要同发送消息的顺序一致,在RocketMQ中,主要指的是局部顺序,即一类消息为满足顺序性,必须Producer单线程顺序发送,且发送到同一个队列,这样Consumer就可以按照Producer发送的顺序去消费消息。

普通顺序消息

顺序消息的一种,正常情况下可以保证完全的顺序消息,但是一旦发生通信异常,Broker重启,由于队列总数发生变化,哈希取模后定位的队列会变化,产生短暂的消息顺序不一致。如果业务能容忍在集群异常的情况下(如某个Broker宕机或者重启)下,消息短暂的乱序,使用普通顺序方式比较合适。

严格顺序消息

顺序消息的一种,无论正常异常情况下都能保证顺序,但是牺牲了分布式FailOVer特性,即Broker集群中只要有一台机器不可用,则整个集群都不可用,服务可用性大大降低。如果服务器部署为同步双写模式,此缺陷可通过备机自动切换为主避免,不过仍然会存在几分钟的服务不可用(依赖同步双写,主备切换,自动切换功能目前还未实现)目前已知的应用只有数据库binlog同步强依赖严格顺序消息,其他应用绝大部分都可以容忍短暂乱序,推荐使用普通的顺序消息。

Message Queue

在RocketMQ中,所有的消息队列都是持久化,长度无限的数据结构,所谓的长度无限是指队列中的每个存储单元都是定长,访问其中的存储单元使用offset来访问,offset为java long类型,64位,理论上在100年内不会溢出,所以认为是长度无限的,另外队列中只保存最近几天的数据,之前的数据会按照过期时间来删除。也可以认为Message Queue是一个长度无限的数组,offset就是下标。

消息过滤

订阅者可以根据消息标签(Tag)对消息进行过滤,确保订阅者最终只接收被过滤后的消息类型,消息过滤在MQ服务端完成。

消息轨迹

在一条消息从发布者到订阅者消费处理过程中,由各个相关节点的时间、地点等数据汇聚而成的完整链路信息。通过消息轨迹,用户能清晰定位消息从发布者发出,经由MQ服务端,投递给消息订阅者的完整链路,方便定位排查问题。

重置消费位点

以时间轴为坐标,在消息持久化存储的时间范围内(默认3天),重新设置消息订阅者对其订阅Topic的消费进度,设置完成后订阅者将接收设定时间点之后由消息发布者发送到MQ服务端的消息。

(四)RocketMq部署图

Name Server:注册中心(zookeeper)频繁更新offset。 Producer:消息生产者 生产消息 寄件人。 Consumer:消息消费者、复制消息消费、收件人。 Broker:中介(邮政) 提供消息中转服务。 Group :分组好处(业务区分,便于管理)。 Tag:多个标签 where 。 Key:区分业务系统 。 Msgid: broker在这个系统中它是独一无二的。

PS:消息中间件的最重要的作用是异步和解耦。其实这里主要说了都是概念,下节开始实战下。

原文发布于微信公众号 - 编程坑太多(idig88)

原文发表时间:2019-05-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券