专栏首页云计算与大数据Apache RocketMQ组建了解

Apache RocketMQ组建了解

Name Server是RocketMQ的寻址服务。用于把Broker的路由信息做聚合。客户端依靠Name Server决定去获取对应topic的路由信息,从而决定对哪些Broker做连接。

Name Server是一个几乎无状态的结点,Name Server之间采取share-nothing的设计,互不通信。

对于一个Name Server集群列表,客户端连接Name Server的时候,只会选择随机连接一个结点,以做到负载均衡。

Name Server所有状态都从Broker上报而来,本身不存储任何状态,所有数据均在内存。

如果中途所有Name Server全都挂了,影响到路由信息的更新,不会影响和Broker的通信。

Broker是处理消息存储,转发等处理的服务器。

Broker以group分开,每个group只允许一个master,若干个slave。

只有master才能进行写入操作,slave不允许。

slave从master中同步数据。同步策略取决于master的配置,可以采用同步双写,异步复制两种。

客户端消费可以从master和slave消费。在默认情况下,消费者都从master消费,在master挂后,客户端由于从Name Server中感知到Broker挂机,就会从slave消费。

Broker向所有的NameServer结点建立长连接,注册Topic信息。

Filter Server(可选)RocketMQ可以允许消费者上传一个Java类给Filter Server进行过滤。

Filter Server只能起在Broker所在的机器

可以有若干个Filter Server进程

拉取消息的时候,消息先经过Filter Server,Filter Server靠上传的Java类过滤消息后才推给Consumer消费。

客户端完全可以消费消息的时候做过滤,不需要Filter Server

FilterServer存在的目的是用Broker的CPU资源换取网卡资源。因为Broker的瓶颈往往在网卡,而且CPU资源很闲。在客户端过滤会导致无需使用的消息在占用网卡资源。

使用 Java 类上传作为过滤表达式是一个双刃剑,一方面方便了应用的过滤操作且节省网卡资源,另一方面也带来了服务器端的安全风险,这需要足够谨慎,消费端上传的class要保证过滤的代码足够安全——例如在过滤程序里尽可能不做申请大内存,创建线程等操作,避免 Broker 服务器资源泄漏。

本文分享自微信公众号 - 黑洞日志(heidcloud)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-05-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 从微服务治理的角度看RSocket、. Envoy和. Istio

    很多同学看到这个题目,一定会提这样的问题:RSocket是个协议,Envoy是一个 proxy,Istio是service mesh control plane...

    heidsoft
  • Java 同步处理与异步处理

    heidsoft
  • k8s: Init 容器

    它是一种专用的容器,在应用容器启动之前运行,并包括一些应用镜像中不存在的实用工具和安装脚本。

    heidsoft
  • 【DIY数字仪表】使用TouchGFX的MVP架构来实现GUI和硬件的双向交互(2)

    MVP的全称为Model-View-Presenter,Model提供数据,View负责显示,Controller/Presenter负责逻辑的处理。MVP与M...

    AIoT-KK
  • UTF-8 为什么会比 UTF-16 浪费?

    上帝说:『首先取下栓,然后不多不少数到三。应该数到三,你数到的数字是三。你除了数到三,既不要数到四,也不要数到二,五是数多了。「三」一旦被数到,成为被数到的第三...

    程序员宝库
  • 枚举——称硬币

    1. 枚举 枚举是基于逐个尝试答案的一种问题求解策略。 2. 称硬币(POJ1013) 问题描述 有12枚硬币。其中有11枚真币和1枚假币。假币和真币重量不...

    Tyan
  • ucgui在windows上的移植,及为go语言打造简易跨平台GUI的想法

    网上开源的有哪些?参见《2019,Go GUI项目爆发的一年?》https://studygolang.com/articles/21525?fr=sideba...

    特立独行的猫a
  • 采访完Jessica Coon,我们重新认识了《降临》里语言学家的世界

    机器之心原创 撰文:微胖 采访:李九喻 编辑:刘燕 在电影叙事中,语言成为一枚强大的武器,但是,Jessica Coon 认为语言仅仅是语言,让语言的回归语言。...

    机器之心
  • 乐享社区启航,8大方式告知员工!

    现在,你的企业刚刚接入乐享,你建好了丰富的K吧,把原本繁杂的文档归类沉淀,上传了干货课程,然后你可能开始困惑于这些问题—— ? 怎么让公司同事快速知道乐享的存...

    腾讯乐享
  • [nptl][rwlock]pthread rwlock原理分析

    概念: In computer science, a readers–writer (RW) or shared-exclusive lock (also kn...

    皮振伟

扫码关注云+社区

领取腾讯云代金券