如何在CDH集群中部署Kafka Manager

1.文档编写目的

为了能够方便的查看及管理Kafka集群，yahoo提供了一个基于Web的管理工具（Kafka-Manager）。这个工具可以方便的查看集群中Kafka的Topic的状态（分区、副本及消息量等），支持管理多个集群、重新分配Partition及创建Topic等功能。本篇文章Fayson主要介绍如何在CDH集群中部署Kafka-Manager并简单的介绍使用。

• 内容概述

1.环境准备

2.Kafka-Manager编译及部署

3.Kafka-Manager使用

4.总结

• 测试环境

1.CM和CDH版本为5.15

2.Kafka版本为0.10.2+kafka2.2.0

3.Kafka-Manager版本为1.3.3.21

2.环境准备

这里需要准备编译Kafka-Manager的环境，依赖JDK1.8环境。

1.配置Java环境变量

export JAVA_HOME=/usr/java/jdk1.8.0_141-cloudera
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar:$CLASSPATH

（可左右滑动）

执行如下命令是环境变量生效并验证

[root@ip-172-31-11-174 kafka-manager]# source /etc/profile
[root@ip-172-31-11-174 kafka-manager]# java -version

（可左右滑动）

2.在命令行使用git命令将kafka-manager的源码下载到本地

[root@ip-172-31-11-174 ~]# git clone https://github.com/yahoo/kafka-manager.git

（可左右滑动）

3.将Github上的源码clone下来后进入kafka-manager目录，执行如下命令编译

[root@ip-172-31-11-174 ~]# cd kafka-manager/
[root@ip-172-31-11-174 kafka-manager]# ./sbt clean dist

（可左右滑动）

这里编译需要耗费大量的时间，需要耐心等待。

4.编译完成后在kafka-manager/target/universal目录下找到编译好的压缩包kafka-manager-1.3.3.21.zip

[root@cdh01 universal]# pwd
/data/disk1/kafka-manager/target/universal
[root@cdh01 universal]# ll

（可左右滑动）

到此为止Kafka-Manager编译完成。

3.部署Kafka-Manager

1.将上述编译好的kafka-manager-1.3.3.21.zip压缩包，拷贝至/opt/cloudera目录下并解压

[root@cdh01 universal]# cp kafka-manager-1.3.3.21.zip /opt/cloudera/
[root@cdh01 universal]# cd /opt/cloudera/
[root@cdh01 cloudera]# unzip kafka-manager-1.3.3.21.zip

（可左右滑动）

2.修改kafka-manager-1.3.3.21/conf/application.conf文件启用Kafka-Manager使用账号登录

basicAuthentication.enabled=true
basicAuthentication.enabled=${?KAFKA_MANAGER_AUTH_ENABLED}
basicAuthentication.username="admin"
basicAuthentication.username=${?KAFKA_MANAGER_USERNAME}
basicAuthentication.password="admin"
basicAuthentication.password=${?KAFKA_MANAGER_PASSWORD}
basicAuthentication.realm="Kafka-Manager"

（可左右滑动）

将登录Kafka-Manager的账号密码设置为admin。

3.使用如下命令启动Kafka-Manager

[root@cdh01 kafka-manager-1.3.3.21]# nohup bin/kafka-manager -Dhttp.port=8090 > nohup.out 2>&1 &

（可左右滑动）

端口8090监听成功。

4.在浏览器输入http://cdh01.fayson.com:8090访问即可

到此为止Kafka-Manager就部署成功了。

4.Kafka-Manager使用

1.登录Kafka-Manager管理界面

2.点击Cluster菜单，添加一个Kafka集群

输入Kafka集群的相关信息

根据自己当前Kafka集群的环境进行相应的配置，点击“Save”完成集群添加

3.点击“Kafka-CDH”连接，进入Kafka集群的详细界面，下图为Kafka的统计信息

4.Brokers界面，可以看到当前Kafka集群的所有Broker节点及综合指标

点击相应的Broker ID可以看到每个Broker的统计信息及详细指标等

5.在Topic菜单下，可以创建和查看集群的所有Topic

创建一个Topic

5.总结

1.Kafka-Manager支持Kafka的0.8.x，0.9.x，0.10.x，0.11.x版本

2.Kafka需要JDK8的环境运行

3.Kafka-Manager支持管理多个Kafka集群。

4.可以便捷的查看Kafka集群的状态（Brokers、Topics、副本分布及分区分布情况）

5.通过界面的方式创建Topic及为Topic重新分配分区等功能。

6. Kafka-Manager启动默认端口号为9000，可以通过-Dhttp.port来指定端口号

更多功能说明请参考GitHub

https://github.com/yahoo/kafka-manager