前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Kafka可视化工具_Kafka-Eagle

Kafka可视化工具_Kafka-Eagle

作者头像
Maynor
发布2021-04-09 15:55:21
7250
发布2021-04-09 15:55:21
举报
文章被收录于专栏:最新最全的大数据技术体系

3.2.2 安装Kafka-Eagle 1.安装JDK,并配置好JAVA_HOME。 2.将kafka_eagle上传,并解压到 /export/server 目录中。

代码语言:javascript
复制
cd /export/software/
tar -xvzf kafka-eagle-bin-1.4.6.tar.gz -C ../server/
cd /export/server/kafka-eagle-bin-1.4.6/ 
tar -xvzf kafka-eagle-web-1.4.6-bin.tar.gz
cd /export/server/kafka-eagle-bin-1.4.6/kafka-eagle-web-1.4.6

3.配置 kafka_eagle 环境变量。

代码语言:javascript
复制
vim /etc/profile
export KE_HOME=/export/server/kafka-eagle-bin-1.4.6/kafka-eagle-web-1.4.6
export PATH=$PATH:$KE_HOME/bin
代码语言:javascript
复制
source /etc/profile
在这里插入图片描述
在这里插入图片描述

4.配置 kafka_eagle。使用vi打开conf目录下的system-config.properties

代码语言:javascript
复制
vim conf/system-config.properties
代码语言:javascript
复制
# 修改第4行,配置kafka集群别名
kafka.eagle.zk.cluster.alias=cluster1
# 修改第5行,配置ZK集群地址
cluster1.zk.list=node1:2181,node2:2181,node3:2181
# 注释第6行
#cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181

# 修改第32行,打开图标统计
kafka.eagle.metrics.charts=true
kafka.eagle.metrics.retain=30

# 注释第69行,取消sqlite数据库连接配置
#kafka.eagle.driver=org.sqlite.JDBC
#kafka.eagle.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db
#kafka.eagle.username=root
#kafka.eagle.password=www.kafka-eagle.org

# 修改第77行,开启mys
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://node3:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=123456

5.配置JAVA_HOME

代码语言:javascript
复制
cd /export/server/kafka-eagle-bin-1.4.6/kafka-eagle-web-1.4.6/bin
vim ke.sh
代码语言:javascript
复制
# 在第24行添加JAVA_HOME环境配置
export JAVA_HOME=/export/server/jdk1.8.0_241

6.修改Kafka eagle可执行权限

代码语言:javascript
复制
cd /export/server/kafka-eagle-bin-1.4.6/kafka-eagle-web-1.4.6/bin
chmod +x ke.sh

7.启动 kafka_eagle。

代码语言:javascript
复制
./ke.sh start

8.访问Kafka eagle,默认用户为admin,密码为:123456

http://node3:8048/ke

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.3 Kafka度量指标 3.3.1 topic list 点击Topic下的List菜单,就可以展示当前Kafka集群中的所有topic。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
代码语言:javascript
复制
指标	意义
Brokers Spread	broker使用率
Brokers Skew	分区是否倾斜
Brokers Leader Skew	leader partition是否存在倾斜

3.3.2 生产者消息总计

在这里插入图片描述
在这里插入图片描述
  1. Kafka原理 4.1 分区的leader与follower 4.1.1 Leader和Follower 在Kafka中,每个topic都可以配置多个分区以及多个副本。每个分区都有一个leader以及0个或者多个follower,在创建topic时,Kafka会将每个分区的leader均匀地分配在每个broker上。我们正常使用kafka是感觉不到leader、follower的存在的。但其实,所有的读写操作都是由leader处理,而所有的follower都复制leader的日志数据文件,如果leader出现故障时,follower就会被选举为leader。所以,可以这样说:

Kafka中的leader负责处理读写操作,而follower只负责副本数据的同步 如果leader出现故障,其他follower会被重新选举为leader follower像一个consumer一样,拉取leader对应分区的数据,并保存到日志数据文件中

在这里插入图片描述
在这里插入图片描述

4.1.2 查看某个partition的leader 使用Kafka-eagle查看某个topic的partition的leader在哪个服务器中。为了方便观察,我们创建一个名为test的3个分区、3个副本的topic。

在这里插入图片描述
在这里插入图片描述

1.点击「Topic」菜单下的「List」

在这里插入图片描述
在这里插入图片描述

2.任意点击选择一个Topic

在这里插入图片描述
在这里插入图片描述

我的博客即将同步至腾讯云+社区,邀请大家一同入驻:https://cloud.tencent.com/developer/support-plan?invite_code=29yw4xtxi45cs

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2021/04/02 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档