快速入门Kafka系列(8)——Kafka监控及运维

作为快速入门Kafka系列的第八篇博客，本篇为大家带来的是kafka监控及运维~

码字不易,先赞后看!

在这里插入图片描述

Kafka监控及运维

在开发工作中，消费在Kafka集群中消息，数据变化是我们关注的问题，当业务前提不复杂时，我们可以使用Kafka 命令提供带有Zookeeper客户端工具的工具，可以轻松完成我们的工作。随着业务的复杂性，增加Group和 Topic，那么我们使用Kafka提供命令工具，已经感到无能为力，那么Kafka监控系统目前尤为重要，我们需要观察 消费者应用的细节。

1. Kafka-eagle 概述

为了简化开发者和服务工程师维护Kafka集群的工作有一个监控管理工具，叫做 Kafka-eagle。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时，这个管理工具也是一个非常好的可以快速浏览这个集群的工具。

2. 环境和安装

2.1 环境要求

需要安装jdk，启动zk以及kafka的服务

2.2 安装步骤

2.2.1 下载源码包

kafka-eagle官网： http://download.kafka-eagle.org/

我们可以从官网上面直接下载最细的安装包即可kafka-eagle-bin-1.3.2.tar.gz这个版本即可

代码托管地址： https://github.com/smartloli/kafka-eagle/releases

2.2.2 解压

这里我们选择将kafka-eagle安装在第三台

直接将kafka-eagle安装包上传到node03服务器的/export/softwares路径下，然后进行解压

任意一台节点服务器执行以下命令进行解压 （本篇博客以node01为例）

cd /export/softwares/
tar -zxf kafka-eagle-bin-1.3.2.tar.gz -C /export/servers/
cd /export/servers/kafka-eagle-bin-1.3.2
tar -zxf kafka-eagle-web-1.3.2-bin.tar.gz

2.2.3 修改kafka-eagle配置文件

node01执行以下命令修改kafka-eagle配置文件

cd /export/servers/kafka-eagle-bin-1.3.2/kafka-eagle-web-1.3.2/conf
vim system-config.properties

在文件中更改成如下配置

# 配置多个Kafka集群所对应的Zookeeper
kafka.eagle.zk.cluster.alias=cluster1,cluster2
cluster1.zk.list=node01:2181,node02:2181,node03:2181
cluster2.zk.list=node01:2181,node02:2181,node03:2181

# Kafka Eagle默认存储在Sqlite中，如果要使用
# MySQL可以替换驱动、用户名、密码、连接地址
#kafka.eagle.driver=com.mysql.jdbc.Driver
#kafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
#kafka.eagle.username=root
#kafka.eagle.password=123456

kafka.eagle.driver=org.sqlite.JDBC
kafka.eagle.url=jdbc:sqlite:/export/servers/kafka-eagle-bin-1.3.2/kafka-eagle-web-1.3.2/db/ke.db
kafka.eagle.username=root
kafka.eagle.password=123456

2.2.4 配置环境变量

kafka-eagle必须配置环境变量，执行以下命令来进行配置环境变量 vim /etc/profile.d/ke.sh

export KE_HOME=/export/servers/kafka-eagle-bin-1.3.2/kafka-eagle-web-1.3.2
export PATH=:$KE_HOME/bin:$PATH

2.2.5 启动kafka-eagle

执行以下界面启动kafka-eagle

cd /export/servers/kafka-eagle-bin-1.3.2/kafka-eagle-web-1.3.2/bin
chmod u+x ke.sh
./ke.sh start

2.2.6 访问主界面

到了这一步，我们就可以根据网址访问kafka-eagle了

http://node01:8048/ke/account/signin?/ke/

因为博主是在node01这台节点操作的，所以地址栏中填写的是node01

大家只要在windows的host文件中配置了主机IP对应的别名，就可以做到用主机名代替IP在URL中显示了~

如果上面的步骤没有执行错误的话，正常页面会出现像下面这个亚子

在这里插入图片描述

输入我们前面在system-config.properties中设置的用户名和密码()，然后就可以成功进入到Kafka的集群管理界面了~

为了方便大家观看，这里我把界面比例缩小了

在这里插入图片描述

大家也看到了最左侧从上到下依次显示的是Dashboard，Topic，Consumers，Metrics，Alarm，System的数据信息

感兴趣的朋友可以继续探索，博主在这里就不再赘述了~

本篇博客的内容分享，就到这里，感兴趣的朋友们记得点赞加关注哟~