前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >进击消息中间件系列(十八):Kafka 可视化管理平台EFAK

进击消息中间件系列(十八):Kafka 可视化管理平台EFAK

作者头像
民工哥
发布2023-08-22 14:23:28
1.3K0
发布2023-08-22 14:23:28
举报
文章被收录于专栏:民工哥技术之路

EFAK可视化平台介绍

EFAK的前身就是Kafka-eagle,新版本的Kafka-eagle都称之为EFAK(Eagle For Apache Kafka)。

EFAK是开源可视化和管理软件。它允许您查询、可视化、提醒和探索您的指标,无论它们存储在哪里。用简单的英语,它为您提供了将您的Kafka集群数据转换为漂亮的图形和可视化的工具。

EFAK可以通过KSQL直接查询或者动态方式读取Kafka中Topic的消息数据。

EFAK官方文档地址:https://www.kafka-eagle.org/articles/docs/introduce/what-is-kafka-eagle.html

搭建EFAK可视化平台

安装JDK环境
代码语言:javascript
复制
[root@kafka-1 ~]# tar xf jdk-8u211-linux-x64.tar.gz -C /data/
[root@kafka-1 ~]# vim /etc/profile
JAVA_HOME=/usr/local/jdk1.8.0_211
PATH=$JAVA_HOME/bin:$PATH
[root@kafka-1 ~]# source /etc/profile
[root@kafka-1 ~]# java -version
java version "1.8.0_211"
Java(TM) SE Runtime Environment (build 1.8.0_211-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed mode)
安装MySQL数据库
代码语言:javascript
复制
1.安装mysql服务
[root@mysql ~]# yum -y install mariadb-server

2.启动mysql
[root@mysql ~]# systemctl start mariadb

3.设置root用户密码
[root@mysql ~]# mysqladmin -uroot password '123456'
下载EAK二进制安装包并部署
代码语言:javascript
复制
1.下载安装包
[root@kafka-1 ~]# wget https://github.com/smartloli/kafka-eagle-bin/archive/v2.1.0.tar.gz

2.解压即可使用
[root@kafka-1 ~]# tar xf kafka-eagle-bin-2.1.0.tar.gz
[root@kafka-1 ~]# tar xf kafka-eagle-bin-2.1.0/efak-web-2.1.0-bin.tar.gz -C /data

3.修改目录名称
[root@kafka-1 ~]# mv /data/efak-web-2.1.0/ /data/kafka-efak
[root@kafka-1 ~]# ll /data/kafka-efak
总用量 0
drwxr-xr-x 2 root root 52 3月  21 09:51 bin
drwxr-xr-x 2 root root 75 3月  21 09:51 conf
drwxr-xr-x 2 root root  6 9月  13 2021 db
drwxr-xr-x 2 root root 23 3月  21 09:51 font
drwxr-xr-x 9 root root 91 2月  23 11:13 kms
drwxr-xr-x 2 root root  6 2月  19 19:45 logs

4.配置系统环境变量
[root@kafka-1 ~]# vim /etc/profile
KE_HOME=/data/kafka-efak
PATH=$KE_HOME/bin:$PATH
[root@kafka-1 ~]# source /etc/profile
配置EFAK连接Zookeeper集群

EFAK只要能连接上ZOokeeper就可以获取到Kafka集群的信息,无需在配置连接Kafka。

代码语言:javascript
复制
[root@kafka-1 ~]# vim /data/kafka-efak/conf/system-config.properties 
efak.zk.cluster.alias=cluster1     #zk集群,我们只有一套kafka集群,连接了一个zk集群,因此只保留了clustrer1,如果我们希望通过这一个eagle平台管理多个kakfa集群,在这里可以以逗号形式隔开,添加多个zk集群
cluster1.zk.list=192.168.20.10:2181,192.168.20.11:2181,192.168.20.12:2181  #zk集群各节点的地址
#cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181   #没有其他kafka集群注释掉cluster2

#eagle平台的数据是要存储在数据库的,需要配置数据库连接信息
efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://192.168.20.13:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
efak.username=root
efak.password=123456

调整Eagle启动文件中的变量信息

在Eagle启动文件中增加上KE_HOMEJAVA_HOME两个变量,否则启动时会报错找不到这两个变量的定义信息。

代码语言:javascript
复制
[root@kafka-1 ~]# vim /data/kafka-efak/bin/ke.sh
KE_HOME=/data/kafka-efak
JAVA_HOME=/usr/local/jdk1.8.0_211
启动EFAK可视化平台
代码语言:javascript
复制
[root@kafka-1 ~]# /data/kafka-efak/bin/ke.sh start

启动成功后会提示平台的登陆账号和密码。

使用EFAK可视化平台

登陆EFAK可视化平台

访问本机IP+8048端口,账号:admin,密码:123456

EFAK仪表盘展示

在系统首页可以看到Kafaka集群中Broker的数量、Topic的数量、ZK集群的数量以及消费者组的数量。

在下面还可以看到Topic中消息的堆积情况,可以看到my-rc-topic中有5条堆积消息。

点击左侧的BScreen跳转至动态监控视图。

选择不同的Kafka集群

在右上角可以切换不同的Cluster来选择不同的Kafka集群,Cluster是在配置文件中定义的ZK集群信息。

创建一个Topic

点击Topics—>Create—>输入Topic的名称—>创建

查看集群中所有的Topic信息

点击Topics—>List,可以看到集群中所有的Topic信息。

点击Topic的名称可以跳转至详情页面。

查看消费者信息
查看集群信息

点击CLuster—>ZK&Kafka,在这里可以看到ZK集群和Kafka集群的信息。

在Multi-CLusters中可以看到我们在配置文件中配置的CLuster1集群信息。

执行ZK命令

点击CLuster—>ZkCli即可执行Zookeeper的命令。

查看集群各项指标监控信息

在Metrics中可以看到Brokers、Kafka、Zookeeper等节点的监控信息。

参考文章:https://blog.csdn.net/weixin_44953658/article /details/131410474

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2023-08-14,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 民工哥技术之路 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • EFAK可视化平台介绍
    • 安装JDK环境
      • 安装MySQL数据库
        • 下载EAK二进制安装包并部署
          • 配置EFAK连接Zookeeper集群
            • 启动EFAK可视化平台
            • 使用EFAK可视化平台
              • 登陆EFAK可视化平台
                • EFAK仪表盘展示
                  • 选择不同的Kafka集群
                    • 创建一个Topic
                      • 查看集群中所有的Topic信息
                        • 查看消费者信息
                          • 查看集群信息
                            • 执行ZK命令
                              • 查看集群各项指标监控信息
                              相关产品与服务
                              云数据库 MySQL
                              腾讯云数据库 MySQL(TencentDB for MySQL)为用户提供安全可靠,性能卓越、易于维护的企业级云数据库服务。其具备6大企业级特性,包括企业级定制内核、企业级高可用、企业级高可靠、企业级安全、企业级扩展以及企业级智能运维。通过使用腾讯云数据库 MySQL,可实现分钟级别的数据库部署、弹性扩展以及全自动化的运维管理,不仅经济实惠,而且稳定可靠,易于运维。
                              领券
                              问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档