前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Apache RocketMQ 消息队列部署与可视化界面安装

Apache RocketMQ 消息队列部署与可视化界面安装

作者头像
陶陶技术笔记
发布2020-06-02 16:24:11
2.8K0
发布2020-06-02 16:24:11
举报
文章被收录于专栏:陶陶技术笔记陶陶技术笔记

一、介绍

Apache RocketMQ是一个分布式、队列模型的消息中间件,具有低延迟、高性能和高可靠、万亿级容量和灵活的可扩展性。核心组件由四部分组成:Name Servers,Brokers,Producer 和 Consumer;它们中的每一个都可以水平扩展,而没有单一的故障节点。

  1. NameServer:是一个几乎无状态的节点,可集群部署,节点之间无任何信息同步
  2. Broker:部署相对复杂,Broker分为Master与Slave,一个Master可以对应多个Slaver,但是一个Slaver只能对应一个Master,Master与Slaver的对应关系通过指定相同的BrokerName,不同的BrokerId来定义,BrokerId为0表示Master,非0表示Slaver。Master可以部署多个。每个Broker与NameServer集群中的所有节点建立长连接,定时注册Topic信息到所有的NameServer
  3. Producer:与NameServer集群中的其中一个节点(随机选择)建立长连接,定期从NameServer取Topic路由信息,并向提供Topic服务的Master建立长连接,且定时向Master发送心跳。Produce完全无状态,可集群部署
  4. Consumer:与NameServer集群中的其中一个节点(随机选择)建立长连接,定期从NameServer取Topic路由信息,并向提供Topic服务的Master、Slaver建立长连接,且定时向Master、Slaver发送心跳。Consumer即可从Master订阅消息,也可以从Slave订阅消息,订阅规则由Broker配置决定

二、MQ安装部署

2.1. 下载

直接找最新版下载后解压 http://rocketmq.apache.org/release_notes

2.2. 修改配置

修改 conf/broker.conf 添加以下配置

brokerIP1:配置broker所在服务器的ip地址,以便Name Server连接

修改 runserver.shrunbroker.sh (可不改) 因为rocketMQ默认的启动参数内存占用非常大,如果环境没有这么多内存就必需修改JAVA_OPT参数

  • runserver.sh

JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn125m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

  • runbroker.sh

JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn125m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

2.3. 运行Name Server

代码语言:javascript
复制
nohup sh bin/mqnamesrv &

查看运行日志:tail -f ~/logs/rocketmqlogs/namesrv.log

2.4. 运行Broker

代码语言:javascript
复制
nohup sh bin/mqbroker -n localhost:9876 -c conf/broker.conf &

通过-c参数指定配置文件 查看运行日志:tail -f ~/logs/rocketmqlogs/broker.log

2.5. 停止服务的方式

如果需要停止 RocketMQ 的服务,在生产环境不建议直接用kill,应该使用以下命令

代码语言:javascript
复制
sh bin/mqshutdown broker

sh bin/mqshutdown namesrv

三、安装可视化管理界面

  • 下载 https://github.com/apache/rocketmq-externals/tree/master/rocketmq-console
  • 编译 mvn clean package -Dmaven.test.skip=true
  • 运行 nohup java -jar \ -Drocketmq.config.namesrvAddr=192.168.28.130:9876 \ -Drocketmq.config.isVIPChannel=false \ rocketmq-console-ng-1.0.0.jar &
  • 访问 http://192.168.28.130:8080/

四、常见异常处理

4.1. MQClientException: No route info of this topic, TopicTest1

4.1.1. 异常说明

在客户端的Producer运行起来准备发送消息时抛异常为 “ No route info of this topic ” 异常产生的原因可能是:

  1. Broker 禁止自动创建 Topic,且用户没有通过手工方式创建 Topic
  2. Broker 没有正确连接到 Name Server
  3. Producer 没有正确连接到 Name Server
4.1.2. 解决办法
  • 排查1:Broker禁止自动创建Topic,且用户没有通过手工方式创建 Topic
    • 可以在rocketmq所在目录下执行 " sh bin/mqbroker -m " 来查看 broker 的配置参数
    • 如下所示,autoCreateTopicEnable=true 证明是没有问题的
  • 排查2:Broker 没有正确连接到 Name Server 通过查看broker的日志 tail -f ~/logs/rocketmqlogs/broker.log 看看有没有错误信息
  • 排查3:Producer 没有正确连接到 Name Server
    1. 检查程序连接Name Server的地址有没有错
    2. 如果在云服务器上,检查安全组的配置9876端口有没有开发
    3. 看看有没有打开防火墙,有的话设置防火墙开放9876端口 ```bash [root@zlt rocketmq-all-4.5.0-bin-release]# firewall-cmd --zone=public --list-ports 8090/tcp 80/tcp 8080/tcp [root@zlt rocketmq-all-4.5.0-bin-release]# firewall-cmd --zone=public --add-port=9876/tcp --permanent success [root@zlt rocketmq-all-4.5.0-bin-release]# firewall-cmd --reload success [root@zlt rocketmq-all-4.5.0-bin-release]# firewall-cmd --zone=public --list-ports 9876/tcp 8090/tcp 80/tcp 8080/tcp ```

4.2. RemotingTooMuchRequestException: sendDefaultImpl call timeout

4.2.1. 异常说明
  • 在客户端的 Producer 运行起来准备发送消息时抛异常如下
  • 通常因为Name Server连接不上Broker
4.2.2. 解决办法

检查 rocketmq-console 的集群页签,broker 的地址是否正确

broker地址的配置方式请参考 安装部署 中提到的步骤:

  1. 修改broker.conf的配置,添加 brokerIP1 参数
  2. 启动broker时加上 -c 参数指定配置文件

4.3. 消费/查看不了死信队列topic的消息

4.3.1. 异常说明

死信队列默认的perm值为2没有查看权限

4.3.2. 解决办法

在控制台把队列的perm改为6就可以了 主题点击 TOPIC配置

修改perm

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2019-09-17,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 陶陶技术笔记 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 一、介绍
  • 二、MQ安装部署
    • 2.1. 下载
      • 2.2. 修改配置
        • 2.3. 运行Name Server
          • 2.4. 运行Broker
            • 2.5. 停止服务的方式
            • 三、安装可视化管理界面
            • 四、常见异常处理
              • 4.1. MQClientException: No route info of this topic, TopicTest1
                • 4.1.1. 异常说明
                • 4.1.2. 解决办法
              • 4.2. RemotingTooMuchRequestException: sendDefaultImpl call timeout
                • 4.2.1. 异常说明
                • 4.2.2. 解决办法
              • 4.3. 消费/查看不了死信队列topic的消息
                • 4.3.1. 异常说明
                • 4.3.2. 解决办法
            相关产品与服务
            命令行工具
            腾讯云命令行工具 TCCLI 是管理腾讯云资源的统一工具。使用腾讯云命令行工具,您可以快速调用腾讯云 API 来管理您的腾讯云资源。此外,您还可以基于腾讯云的命令行工具来做自动化和脚本处理,以更多样的方式进行组合和重用。
            领券
            问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档