专栏首页CDN及云技术分享安装和使用cmak(原名为kafka manager)
原创

安装和使用cmak(原名为kafka manager)

一、安装kafka manager

1.1 安装之前先确保有java11环境

yum install java-11-openjdk
yum install java-11-openjdk-devel
sudo alternatives --config java//选择安装的java11

Java -version确认已经切换版本成功,要不centos 7默认自带的是java8 java1.8.

1.2 下载kafka manager

wget https://github.com/yahoo/CMAK/archive/3.0.0.4.tar.gz
tar -zxvf kafka-manager-3.0.0.4.tar.gz
cd CMAK-3.0.0.4/

1.3 安装sbt编译工具

curl https://bintray.com/sbt/rpm/rpm | sudo tee /etc/yum.repos.d/bintray-sbt-rpm.repo
sudo yum install sbt

1.4 编译kafka manager

在cd CMAK-3.0.0.4/目录执行

sbt clean dist

需要等待一段时间,编译完成之后

1.5 运行kafka manager

/data/mariolu/CMAK-3.0.0.4/target/universal/

会产生 cmak-3.0.0.4.zip ,解压这个包

修改conf/application.conf

 #cmak.zkhosts="kafka-manager-zookeeper:2181"
 cmak.zkhosts="localhost:2181"//kafka的服务地址,需要根据真实地址填写

再进入bin目录, 执行cmak

 ./bin/cmak -Dhttp.port=10010

这样既可以启动kafka manager,然后在浏览器输入ip:10010可以看到kafka的配置网站

二、使用kafka manager

2.1 创建cluster

填入cluster name和cluster zookeeper hosts,然后其他基本上按照默认值或者错误提示配置。

图1 新建集群

创建成功

图2 创建集群成功

2.2 创建topic

填入topic名字和分片数和复制i备份数

图3 创建topic

创建成功

图4 创建成功

2.3 topic的概况如下

图5 topic列表
  • Brokers Spread:看作broker使用率,如kafka集群9个broker,某topic有7个partition,则broker spread: 7 / 9 = 77%
  • Broker skew(broker的分配倾斜度),衡量broker分配的不均衡性。broker的partition数超过平均的partiition,则该broker算失衡。失衡的broker/所有的broker = 失衡倾斜度
图6 topic概括

2.4 broker的概括如下

图7 broker概括

2.5 分片信息

此外还可以看到其他比如消费者信息,分片信息等等,甚至可以操作这些分片和broker的重分配

图8 分片消息
图7 分片信息(二)

给topic加分片

图8 加分片
图9 加分片成功

还有其他可以操作分片的选项

图10 操作分片选项

分片重分配

图11 分片重分配

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Kafka 监控工具之CMAK

    CMAK(Cluster Manager for Apache Kafka) 是由 Yahoo 开源的 Kafka 集群管理平台。我们可能听到更多的是 kafk...

    smartsi
  • Apache Kafka-CMAK(kafka manager)安装部署使用

    因为误用了 Apache 的商标,kafka manager改名为CMAK(Cluster Manager for Apache Kafka)

    小小工匠
  • 008.Kafka集群管理工具CMAK-3.0.0.5源码编译以及安装部署

    cmak在github上有已经编译好的安装包,我在JDK1.8环境中无法运行,于是才有了上一步的源码编译,我想使用JDK1.8编译,使得安装包可以在JDK1.8...

    CoderJed
  • Centos7安装kafka-manager

    kafka-manager是目前最受欢迎的kafka集群管理工具,最早由雅虎开源,用户可以在Web界面执行一些简单的集群管理操作。具体支持以下内容:

    阿dai学长
  • kafka-manager对比

    主要对比滴滴的kafka-manager 和雅虎的CMAK(原名kafka manager)

    皮皮熊
  • KafKa CMAK 3.0.0.4(二)

    Cluster Manager for Apache Kafka是雅虎开源应用于Kafka集群,用户可在Web 界面执行简单的集群管理操作。

    Kevin song
  • Kafka监控框架介绍

    CMAK(原Kafka Manager) 是雅虎公司于 2015 年开源的一个 Kafka 监控框架。这个框架用 Scala 语言开发而成,主要用于管理和监控 ...

    Se7en258
  • DiDi Kafka-Manager安装和简单使用

    之前本来想装kafka-manager,现在叫做CMAK,后来发现滴滴开源的kafka-manager,功能更丰富。看了下它的架构图和源码,还是很值得参考和借鉴...

    soundhearer
  • Kafka集群监控、安全机制与最佳实践

    所以本小节先介绍该监控工具的安装及配置,到如下地址可以下载各个版本的Kafka Manager:

    端碗吹水
  • 【日志架构】ELK Stack + Kafka 端到端练习

    在前一章中,我们已经学习了如何从头到尾地配置ELK堆栈。这样的配置能够支持大多数用例。然而,对于一个无限扩展的生产环境,瓶颈仍然存在:

    首席架构师智库
  • 009.统一数据采集平台DBus-0.6.1安装部署

    我的环境已经安装了Ambari-2.7.4.0+HDP-3.1.4.0大数据平台,已安装的组件的版本如下:

    CoderJed
  • Kafka介绍及安装部署

    消息中间件是在消息的传输过程中保存消息的容器。消息中间件在将消息从消息生产者到消费者时充当中间人的作用。队列的主要目的是提供路由并保证消息的传送;如果发送消息时...

    菲宇
  • 0726-6.3.0-如何在CDH6.3中安装Streams Messaging Manager(SMM)

    Cloudera在2019年9月18日正式对外宣布发布Cloudera Stream Processing(CSP)2.0,参考《Cloudera Stream...

    Fayson
  • Kafka-manager部署与使用简单介绍

    Kafka Manager是 Yahoo 推出的 Kafka 开源管理工具,用于管理Apache Kafka集群的工具,用户可以在Web界面执行一些简单的Kaf...

    yuanfan2012
  • 0780-6.3.3-如何在离线环境下安装Streams Message Manager(SMM)

    2.将下载的csd文件拷贝至/opt/cloudera/csd目录下,并重启cloudera-scm-server服务

    Fayson
  • 管理工具kafka Manager

    为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具叫做 Kafka Manager。 这个管理工具可以...

    陈不成i
  • Kafka入门宝典(详细截图版)

    准备三台虚拟机,分别是node01,node02,node03,并且修改hosts文件如下:

    实时计算
  • Kafka入门宝典(详细截图版)

    准备三台虚拟机,分别是node01,node02,node03,并且修改hosts文件如下:

    用户6070864
  • Kafka常用命令收录

    本文内容主要来自两个方面:一是网上的分享,二是自研的随手记。日记月累,收录kafka各种命令,会持续更新。

    一见

扫码关注云+社区

领取腾讯云代金券