首页
学习
活动
专区
工具
TVP
发布

0542-6.1.0-非安全环境下Kafka管理工具Kafka Eagle安装使用

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。

Fayson的github:

https://github.com/fayson/cdhproject

提示:代码块部分可以左右滑动查看噢

1

文档编写目的

Fayson在前面的文章介绍了《

如何在CDH集群安装Kafka Manager

》,本篇文章Fayson介绍另外一款的监控工具Kafka-eagle,它可以同时监控多个集群,监控集群中Topic的被消费情况(包含Lag产生、Offset的改变及Partition分布),同时也支持SQL查询。接下来Fayson主要介绍下在非安全环境下Kafka-eagle的安装及使用。

内容概述

1.环境准备及安装

2.Kafka-eagle配置

3.Kafka-eagle使用

4.总结

测试环境

1.CM和CDH版本为6.1.0

2.Kafka版本为2.0.0

3.Kafka-eagle版本为1.2.9

2

环境准备及说明

1.Kafka-eagle运行依赖Java运行环境,需要在部署节点安装JDK(支持JDK8+)

验证Java环境是否配置成功

2.Kafka-eagle对Kafka版本支持

更多信息可在github上查看:https://github.com/smartloli/kafka-eagle

3.Kafka-eagle下载,可以在github上下载源码编译或是官网下载已编译好版本,地址如下

源码下载地址:https://github.com/smartloli/kafka-eagle

编译好版本下载地址:https://github.com/smartloli/kafka-eagle-bin/archive/v1.2.9.tar.gz

4.修改CDH中Kafka服务JMX监听地址,默认监听地址为127.0.0.1

保存配置并重启Kakfa服务,启动成功后在命令行验证监听地址是否由127.0.0.1修改为0.0.0.0

3

Kafka-eagle安装及配置

1.Fayson选择已编译好的版本进行安装部署,使用wget命令直接下载

2.将下载的v1.2.9.tar.gz解压并移到/opt/clouera目录下

3.配置Kafka-eagle环境变量,在/etc/profile文件中增加如下内容

执行source /etc/profile命令使环境变量生效。

4.进入/conf目录下修改system-config.properties,内容如下:

未列出的配置均使用默认配置即可。

5.配置中选择使用MySQL存储Kafka-eagle的元数据,需要在MySQL上创建一个kafkaeagle的数据库

6.进入/bin目录下启动kafka-eagle服务

脚本执行成功显示如下:

脚本执行成功后,会提示kafka-eagle服务的访问地址及账号密码。

4

Kafka-eagle使用

1.输入账号密码登录Kafka-eagle,主页面总览Kafka集群的Brokers、Topics、Zookeepers及ConsumerGroups等信息

2.在管理界面行创建一个测试Topic

创建成功

CM上也可以看到创建成功的Topic

3.Kafka-eagle提供Mock功能,可以模拟向指定的Topic发送消息

4.查看Kafka集群所有Topic

点击Topic Name查看Topic的Partition、Leader、Replicas及ISR列表

5.Consumers下可以看到所有Group的消费Topic的情况及消费进度

点击Group名称查看详情

点击“Pending”查看具体Topic消费情况

6.通过Metrics可以看到集群的Brokers、Kafka和Zookeeper的各项监控指标

7.可以通过Kafka-eagle配置告警,关于消息消费延迟、Kafka和Zookeeper服务状告警,前提是需要配置邮箱服务器信息

8.系统管理功能用户、角色、系统功能管理

5

总结

1.相比之前介绍的Kafka Manager工具Fayson更喜欢Kafka-eagle,界面简洁操作方便

2.Kafka-eagle支持SQL查询,但Fayson使用的版本有个sql.js加载时报错,导致无法使用,暂时没有截图演示功能。

3.Kafka-eagle管理Kafka集群是通过JMX获取集群的信息,所以要确保Kafka的JMX已启用(CDH默认已启用),在C6版本JMX监听的IP地址为127.0.0.1,需要修改监听的IP地址。

更多功能可参考官方文档:https://ke.smartloli.org/

在安装测试过程总使用的Kafka自带的性能测试脚本生成和消费消息

生产消息脚本

消费消息脚本

提示:代码块部分可以左右滑动查看噢

为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20190215B00S9O00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券