kafka管理神器-kafkamanager
kafka管理神器-kafkamanager
好久没发过kafka的文章了，今天整理一下kafka-manager神器。
java环境要求
jdk8
kafkamanager源码下载
https://github.com/yahoo/kafka-manager/releases
编译
先修改sbt源，否则会报错，而且非常慢
在～/.sbt目录下增加一个文件repositories，内容如下：
[repositories]
local
osc: http://maven.aliyun.com/nexus/content/repositories/central/
oschina-ivy:http://maven.aliyun.com/nexus/content/repositories/central/ , [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]
ib: http://maven.ibiblio.org/maven2/
ib-ivy: http://maven.ibiblio.org/maven2/ , [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]
mt-mdh:.sbt meitu$ pwd
/Users/meitu/.sbt修改源之后编译速度很快而且无故障。
编译是在/opt/hadoop/kafka-manager-1.3.3.18/目录下执行：
./sbt clean dist要求jdk8假如不是jdk8，可以直接指定路径：
PATH=/usr/local/oracle-java-8/bin:$PATH \
JAVA_HOME=/usr/local/oracle-java-8 \
/path/to/sbt -java-home /usr/local/oracle-java-8 clean dist最后出现
[info] Your package is ready in /opt/hadoop/kafka-manager-1.3.3.18/target/universal/kafka-manager-1.3.3.18.zip
[info]
[success] Total time: 60 s, completed 2018-9-10 13:58:04代表编译成功，zip生成目录是在
kafka-manager-1.3.3.18/target/universal/kafka-manager-1.3.3.18.zip在配置conf/application.conf 中加入zookeeper的地址，不一定是kafka的集群zk地址
kafka-manager.zkhosts="localhost:2181"启动，不加-Dhttp.port参数默认是9000
bin/kafka-manager -Dconfig.file=/path/to/application.conf -Dhttp.port=8080加入java不是jdk8的话也可以单独指定jdk为jdk8
bin/kafka-manager -java-home /usr/local/oracle-java-8kafkamanager的经典作用
1. 管理多集群
2. 便捷的监控集群状态(topics，consumers，offsets，brokers，副本分布，分区分布)
3. 运行优先副本选举
4. 可以选择指定的broker去产生副本分布策略。
5. 运行分区分布策略，根据4产生的分布策略
6. 根据自定义配置创建topic
7. 删除topic，但是前提是配置kafka的delete.topic.enable=true
8. 可以选择多个topic，然后指定特定的brokers，生成分区分布策略
9. 批量运行8生成的策略
10. 增加已存在topic的分区
11. 更新已存在topic的配置
12. 加入kafka开启jmx的话，可以监控broker和topic级别的监控指标。
kafka manager图解说明
首先创建集群
接着在topic管理界面
然后就是消费者界面
主要关注的是图上所属指标，建议大家使用测试，当然非常建议按照本文操作一遍，但是不想编译或者编译不成功也可以，在公众号恢复 1024 获取浪院长编译好的。
kafka 开启jmx的方式很简单在kafka-server-start.sh中修改如下
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
export JMX_PORT="9999"
fi当然，在这里强调一下，对于kafka集群，虽然不耗内存，也建议将kafka的堆内存设置稍微大些。当然，对于很多公司，数据量不足以触发kafka节点内存不够导致的故障。