展开

关键词

kafka-manager对比

主要对比滴滴的kafka-manager 和雅虎的CMAK(原名kafka manager)https:github.comdidikafka-managerhttps:github.comyahooCMAK 直接上对比结论 比较项 kafka-manager CMAK 社区活跃度 不太活跃但滴滴同学相应沟通比较快 比较活跃 开发环境 java8 java11 编译方式 maven sbt Web框架 spring play(scala的一个web框架) 前端框架 vue - 页面评价 比较清爽 有点丑陋 支持kafka版本 0.10之后版本 0.80.90.100.11 理论支持更高版本 程序包大小 44MB

55692

Kafka-manager部署

1.3 kafka-manager为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager。 0.8.2以上版本适用)8.为已存在的topic增加分区9.为已存在的topic更新配置10.在多个topic上批量重分区11.在多个topic上批量重分区(可选partition broker位置)kafka-manager  clean dist            #过程比较长得到文件kafka-manager-1.3.0.8.zipunzip kafka-manager-1.3.0.8.zip -d usrlocalcd  usrlocalkafka-manager-1.3.0.8修改配置 confapplication.properties# 如果zk是集群,这里填写多个zk地址kafka-manager.zkhosts =172.17.10.185:2181,172.17.10.184:2181,172.17.10.183:2181启动kafka-manager 默认的端口是9000,可通过 -Dhttp.port,指定端口

65650
  • 广告
    关闭

    11.11智惠云集

    2核4G云服务器首年70元,还有多款热门云产品满足您的上云需求

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    docker运行kafka manager

    序本文简单介绍下docker运行kafka以及kafka manager镜像docker pull dockerkafkazookeeperdocker pull dockerkafkakafkadocker dockerkafkakafka docker run -it --rm --link kafkadocker_zookeeper_1:zookeeper --link kafkadocker_kafka_1:kafka ports: - 2181:2181 - 2888:2888 - 3888:3888 - 5000:5000 kafka: image: dockerkafkakafka ports: - 9092: 9092 links: - zookeeper:zookeeper kafka-manager: image: dockerkafkakafka-manager environment: - ZK_HOSTS 0.8版本的可供选择docDockerKafkakafka-manager-docker

    2.8K20

    Centos7安装kafka-manager

    简介kafka-manager是目前最受欢迎的kafka集群管理工具,最早由雅虎开源,用户可以在Web界面执行一些简单的集群管理操作。 true)主题列表现在指示标记为删除的主题(仅支持0.8.2+)批量生成多个主题的分区分配,并可选择要使用的代理批量运行重新分配多个主题的分区将分区添加到现有主题更新现有主题的配置支持ldap用户认证kafka-manager 使用systemctl管理kafka-manager服务创建文件 usrlibsystemdsystemkafka-manager.service :Description=kafka-manager 启动、停止、重启$ systemctl start kafka-manager$ systemctl stop kafka-manager$ systemctl restart kafka-manager # 加入开机启动$ systemctl enable kafka-manager配置日志切割pathtokafka-managercmak-3.0.0.1logsapplication.log { daily

    1.4K30

    管理工具kafka Manager

    一.简介为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具叫做 Kafka Manager。 编译会很慢.sbt clean distcd target可以看到kafka-manager-1.3.3.14ls target3.安装unzip工具并解压yum -y install unzipunzip kafka-manager-1.3.3.14.zipmv kafka-manager-1.3.3.14 kafka-managercd kafka-manager4.配置,填写要管理的zk地址vim 检查kafka-manager的配置文件application.conf,zookeeper地址是否正确while starting up loggerskafka-manager日志显示如下kafka-manager :110)kafka-manager_1 | Oops, cannot start the server.解决调整超时时间更改配置文件kafka-manager-1.3.3.6targetuniversalkafka-manager

    7520

    kafka-manager 2.0.0.2 编译版本

    bintray.comsbtrpmrpm > bintray-sbt-rpm.repo mv bintray-sbt-rpm.repo etcyum.repos.d yum install sbt 将github上kafka-manager 的×××到root 目录下,并解压好cd rootkafka-manager-2.0.0.2 .sbt clean dist 然后漫长的等待后,就可以编译完成了。 编译好的文件在: rootkafka-manager-2.0.0.2targetuniversalkafka-manager-2.0.0.2.zip cp rootkafka-manager-2.0.0.2targetuniversalkafka-manager -2.0.0.2.zip tmpcd tmpunzip kafka-manager-2.0.0.2.zip mv kafka-manager-2.0.0.2 usrlocal cd usrlocalkafka-manager -2.0.0.2 vim confapplication.conf  修改下 kafka-manager.zkhosts=192.168.2.4:2181    # 这里改成了我们kafka-manager

    89220

    kafka-manager(cmak)安装及使用

    1.软件下载kafka-manager 工具目前改名为cmak,下载地址为:https:github.comyahooCMAKreleasestag3.0.0.5 现在下载最新版本的cmak文件: cmak :09 ..lrwxrwxrwx 1 kafka kafka 27 Nov 3 14:44 apache-kafka -> optkafkakafka_2.12-3.0.0-rw------- 1 kafka kafka kafka 470 Nov 4 18:26 .bash_profile-rw-r--r-- 1 kafka kafka 231 Aug 8 2019 .bashrcdrwxrwxr-x 8 1 kafka kafka 32 Jun 11 2020 kafka-eagle -> optkafkakafka-eagle-web-1.4.8drwxrwxr-x 8 kafka kafka 74 manager path cache...2021-11-04 19:49:16,018 - k.m.a.DeleteClusterActor - Adding kafka manager path

    12320

    docker zookeeper kafka kafka-manager 本地hbase hadoop

    规划如下:zookeeper开启三个,kafka开启三个,hbase和hadoop在本地开启,不用docker。 : (注:在zookeeper和kafka中可添加 volumes操作,映射目录,我这里没做: 例: “optkafkakafka1data:kafka”)version: 3.4 services: homecdatadata1dockerkafkakafka3docker.sock:varrundocker.sock - homecdatadata1dockerkafkakafka3data:kafka kafka-manager : image: sheepkillerkafka-manager:latest restart: unless-stopped container_name: kafka-manager hostname : kafka-manager ports: - 9000:9000 links: # 连接本compose文件创建的container - kafka1 - kafka2 - kafka3 external_links

    11830

    Kafka Manager实现原理与填坑

    Kafka Manager 简介 Kafka Manager 可能是现在能找到的最好的可视化的Kafka管理工具, 感谢Yahoo-我人生中打开的一个网站-的开源;使用Kafka Manager, 基本上之前需要运行 Manager的实现和在使用中遇到的几种坑;Kafka Manager实现实现语言: Scala用到的框架和第三方库: Play framework: Kafka-Mananger本质上是个Web应用 Kafka Manager中的所有请求都使用akka来异步处理; Apache Curator Framework: 用于访问zookeeper; Kafka Sdk: 用于获取各Topic的last kafka-manager.pngKafka Manager遇到的坑多个kafka manager来管理同一个kafka集群: 你会发现在kafka manager里无法看到所有offset使用kafka Ask timed out on ] after 访问kafka manager时出现上面的超时提示, 遇到这个问题,好学不服输的你肯定会上网各种搜, 然后你会去改kafka manager的各种配置

    2.4K20

    如何在CDH集群中部署Kafka Manager

    内容概述1.环境准备2.Kafka-Manager编译及部署3.Kafka-Manager使用4.总结测试环境1.CM和CDH版本为5.152.Kafka版本为0.10.2+kafka2.2.03.Kafka-Manager 到此为止Kafka-Manager编译完成。 3.部署Kafka-Manager----1.将上述编译好的kafka-manager-1.3.3.21.zip压缩包,拷贝至optcloudera目录下并解压# cp kafka-manager-1.3.3.21 到此为止Kafka-Manager就部署成功了。4.Kafka-Manager使用----1.登录Kafka-Manager管理界面?2.点击Cluster菜单,添加一个Kafka集群? 5.总结----1.Kafka-Manager支持Kafka的0.8.x,0.9.x,0.10.x,0.11.x版本2.Kafka需要JDK8的环境运行3.Kafka-Manager支持管理多个Kafka

    3.1K20

    DiDi Kafka-Manager安装和简单使用

    之前本来想装kafka-manager,现在叫做CMAK,后来发现滴滴开源的kafka-manager,功能更丰富。看了下它的架构图和源码,还是很值得参考和借鉴的。 让我们来看看didi kafka-manager官网介绍的功能:一站式 ApacheKafka集群指标监控与运维管控平台主要功能特性集群监控维度多版本集群管控,支持从 0.10.2到 2.4版本;集群Topic ;Topic运维,包括创建、查询、扩容、修改属性、数据采样及迁移等;消费组运维,包括指定时间或指定偏移两种方式进行重置消费偏移;用户使用维度管理员用户与普通用户视角区分;管理员用户与普通用户权限区分;kafka-manager 架构图安装手册环境依赖Maven3.5.0+(后端打包依赖)node v8.12.0+(前端打包依赖)Java8+(运行环境需要)MySQL 或 PostgreSQL(数据存储)环境初始化mysql建库kafka-manager ### application.yml 是配置文件cp websrcmainresourcesapplication.yml webtargetcd webtargetnohup java -jar kafka-manager-web

    80821

    Kafka-manager部署与使用简单介绍

    Kafka Manager是 Yahoo 推出的 Kafka 开源管理工具,用于管理Apache Kafka集群的工具,用户可以在Web界面执行一些简单的Kafka集群管理操作 Kafka Manager Manager下载地址 https:github.comyahookafka-managerreleases下载下来的是源码包,需要进行sbt编译,为了方便我这里直接下载编译好的kafka-manager -1.3.3.8.zip下面搭建kafka测试环境,简单演示kafka manager部署与使用1、kafka环境准备 可以使用如下脚本创建单节点的kafka测试服务器脚本如下(脚本写得较简单,可以忽略脚本健壮性 安装包并修改参数 unzip kafka-manager-1.3.3.23.zipmv kafka-manager-1.3.3.23 kafka-managercd kafka-managerconfcp application.conf application.conf_default_bak 修改如下参数 vi application.conf1)、将kafka-manager.zkhosts=kafka-manager-zookeeper

    93020

    安装和使用cmak(原名为kafka manager

    managerwget https:github.comyahooCMAKarchive3.0.0.4.tar.gztar -zxvf kafka-manager-3.0.0.4.tar.gzcd CMAK manager在cd CMAK-3.0.0.4目录执行sbt clean dist需要等待一段时间,编译完成之后1.5 运行kafka managerdatamarioluCMAK-3.0.0.4targetuniversal 会产生 cmak-3.0.0.4.zip ,解压这个包修改confapplication.conf #cmak.zkhosts=kafka-manager-zookeeper:2181 cmak.zkhosts =localhost:2181kafka的服务地址,需要根据真实地址填写再进入bin目录, 执行cmak .bincmak -Dhttp.port=10010这样既可以启动kafka manager,然后在浏览器输入 ip:10010可以看到kafka的配置网站二、使用kafka manager2.1 创建cluster填入cluster name和cluster zookeeper hosts,然后其他基本上按照默认值或者错误提示配置

    3.1K462

    Apache Kafka-CMAK(kafka manager)安装部署使用

    ----Github地址https:github.comyahooCMAK详见README.md----因为误用了 Apache 的商标,kafka manager改名为CMAK(Cluster Manager for Apache Kafka)参考: https:github.comyahooCMAKissues713----二进制安装包下载Kafka Manager 在 3.0.0.2 之前的 Releases confapplication.conf 配置文件# pwdrootcmak-3.0.0.5conf# cat application.conf zk地址# Settings prefixed with kafka-manager

    9920

    如何通过Cloudera ManagerKafka启用Kerberos及使用

    1.文档编写目的 ---- 在CDH集群中启用了Kerberos认证,那么我们的Kafka集群能否与Kerberos认证服务集成呢? 本篇文章主要讲述如何通过Cloudera ManagerKafka集群启用Kerberos认证及客户端配置使用。 5.Kafka未与Sentry集成 2.修改Kafka配置 ---- 1.登录Cloudera Manager进入Kafka服务,修改ssl.client.auth配置为none 2.Kafka启用 完成以上配置就可以为Kafka集群启用Kerberos认证。 2.运行Kafka的Producer root@ip-172-31-21-45ec2-user# kafka-console-producer--broker-list 172.31.21.45:9092

    1.6K90

    K8S部署Kafka界面管理工具(kafkamanager)

    kafka-manager 是雅虎开源的apache-kafka管理工具,是用Scala编写的,可以在web页面进行kafka的相关操作。 一、制作kafkamanager的image镜像下载kafka-manager-2.0.0.2.zip,在解压目录的conf下的application.conf文件里,修改kafka-manager.zkhosts Jan 27 17:48 kafka-manager-2.0.0.2.zip# cd kafka-manager-2.0.0.2conf# vim application.conf.......... -2.0.0.2-rw-r--r-- 1 root root 60639694 Jan 27 17:48 kafka-manager-2.0.0.2.zip # rm -rf kafka-manager -2.0.0.2.zip# tar -zvcf kafka-manager-2.0.0.2.tar.gz kafka-manager-2.0.0.2 # rm -rf kafka-manager-2.0.0.2

    30230

    Kafka三种可视化监控管理工具MonitorManagerEagle

    .zip到集群解压kafka-manager-1.3.3.15.zip$ unzip kafka-manager-1.3.3.15.zip修改kafka-manager-1.3.3.21confapplication.conf KAFKA_MANAGER_PASSWORD}basicAuthentication.realm=Kafka-Manager将登录Kafka-Manager的账号密码设置为admin。 使用如下命令启动Kafka-Manager修改文件的权限$ chmod 777 kafka-manager# 默认为9000,但是我的集群有端口冲突,改为8090$ nohup binkafka-manager 到此为止Kafka-Manager就部署成功了。登录Kafka-Manager管理界面?点击Cluster菜单,添加一个Kafka集群?? 2.2 总结Kafka-Manager支持Kafka的0.8.x,0.9.x,0.10.x,0.11.x版本Kafka需要JDK8的环境运行Kafka-Manager支持管理多个Kafka集群。

    12.1K51

    Kafka快速入门系列(14) | Kafka监控(两种)

    2.在optmodule下创建kafka-offset-console文件夹$ mkdir kafka-offset-console$ cd kafka-offset-console 3. Kafka Manager 1.解压到optmodule$ unzip kafka-manager-1.3.3.15.zip -d optmodule 2.修改配置文件confapplication.conf $ vim confapplication.conf kafka-manager.zkhosts=kafka-manager-zookeeper:2181修改为:kafka-manager.zkhosts 为脚本添加执行权限$ chmod +x kafka-manager? 4. 启动kafka-manager$ binkafka-manager 修改端口号$ binkafka-manager -Dhttp.port=9090 5.

    12110

    Kafka常用监控框架百科全书

    Kafka Manager(已更名为CMAK)为了简化开发者和服务工程师维护Kafka集群的工作,Yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager。 你可以很轻松的安装他:# 从git上下载Kafka manager源码git clone https:github.comyahookafka-manager # 使用sbt进行编译,编译过程中需要等待很长时间 Manager:# 进入kafka-managerbincd ..kafka-managerbin # 执行kafka-manager命令sh kafka-manager 然后我们就可以新建Cluster 一个完整的过程你可以参考:《Kafka集群管理工具kafka-manager部署安装》https:blog.csdn.netqq_43631716articledetails120109732Kafka :8080 账号密码 adminadmin总结除了我们上面介绍的Kafka ManagerKafka Eagle等,使用JMXTrans + InfluxDB + Grafana的组合也是很多公司的选择

    10930

    搭建高吞吐量 Kafka 分布式发布订阅消息 集群

    ManagerYahoo开源Kafka集群管理器Kafka Manager作为一个分布式的消息发布-订阅系统,Apache Kafka在Yahoo内部已经被很多团队所使用,例如媒体分析团队就将其应用到了实时分析流水线中 为了让开发者和服务工程师能够更加简单地维护Kafka集群,Yahoo构建了一个基于Web的管理工具,称为Kafka Manager,日前该项目已经在GitHub上开源。 ,并基于生成的分配执行分区的重分配,此外,Kafka Manager还是一个非常好的可以快速查看集群状态的工具。 Kafka Manager使用Scala语言编写,其Web控制台基于Play Framework实现,除此之外,Yahoo还迁移了一些Apache Kafka的帮助程序以便能够与Apache Curator $ unzip kafka-manager-1.3.2.1.zip$ vi optkafka-manager-1.3.2.1confapplication.conf修改这个 zk 地址kafka-manager.zkhosts

    39050

    相关产品

    • 云服务器

      云服务器

      腾讯云服务器(CVM)为您提供安全可靠的弹性云计算服务。只需几分钟,您就可以在云端获取和启用云服务器,并实时扩展或缩减云计算资源。云服务器 支持按实际使用的资源计费,可以为您节约计算成本。

    相关资讯

    热门标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      扫码关注云+社区

      领取腾讯云代金券