为了能够方便的查看及管理Kafka集群,yahoo提供了一个基于Web的管理工具(Kafka-Manager)。这个工具可以方便的查看集群中Kafka的Topic的状态(分区、副本及消息量等),支持管理多个集群、重新分配Partition及创建Topic等功能。本篇文章Fayson主要介绍如何在CDH集群中部署Kafka-Manager并简单的介绍使用。
kafka-manager是目前最受欢迎的kafka集群管理工具,最早由雅虎开源,用户可以在Web界面执行一些简单的集群管理操作。具体支持以下内容:
Kafka Manager是用于管理Apache Kafka集群的工具。为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时,这个管理工具也是一个非常好的可以快速浏览这个集群的工具,有如下功能:
点击“Kafka-CDH”连接,进入Kafka集群的详细界面,下图为Kafka的统计信息
为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具叫做 Kafka Manager。 这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。
192.178.99.100:9000,然后添加cluster即可,其中zk地址填写zookeeper:2181
Kafka Manager是 Yahoo 推出的 Kafka 开源管理工具,用于管理Apache Kafka集群的工具,用户可以在Web界面执行一些简单的Kafka集群管理操作
日志,对于任何系统来说都是及其重要的组成部分,在计算机系统中比较复杂,日志有不同的来源,如操作系统,应用服务,业务逻辑等,它们都在不停产生各种各样的日志。 K8S系统里的业务应用是高度 “动态化”的,随着容器编排的进行,业务容器在不断的被创建、被销毁、被迁移、被扩缩容…
笔者经常遇到一些无法优化的慢查询,面对这样的慢查询,笔者会将其进行预先计算存储到mongodb或者elasticsearch中。这个业务场景需要将mysql的binlog数据发送到kafka,然后订阅kafka并消费其中的binlog数据以实现实时加速查询。但是消费binlog就可能会有很多意外发生,比如mysql数据库发生死锁,或者消费发生并发问题,网络长时间阻塞,这些状况都会导致kafka消费发生阻塞,一旦发生阻塞,用户从mongodb或者elasticsearch中就会查询不到最新的mysql数据,所以笔者需要监控kafka中消息的消费情况,监控的方案有很多,笔者进行了整理,以便日后回顾。
编译方法: curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo mv bintray-sbt-rpm.repo /etc/yum.repos.d/ yum install sbt 将github上/kafka-manager的×××到/root/ 目录下,并解压好 cd /root/kafka-manager-2.0.0.2 ./sbt clean dist 然后漫长的等待后,就可以编译完成了。 编译好的文件在: /root/k
Zookeeper集群:172.16.218.201、172.16.218.202、172.16.218.203 172.16.218.201 kafka1 172.16.218.202 kafka2 172.16.218.203 kafka3 172.16.200.48 kafka-manager
简单明了,直接上步骤,首先,虚拟机环境,centos,docker都已搞定。略过,直接操作部署kafka.
Spring Cloud Stream is a framework for building highly scalable event-driven microservices connected with shared messaging systems.
消息中间件是在消息的传输过程中保存消息的容器。消息中间件在将消息从消息生产者到消费者时充当中间人的作用。队列的主要目的是提供路由并保证消息的传送;如果发送消息时接收者不可用,消息对列会保留消息,直到可以成功地传递它为止,当然,消息队列保存消息也是有期限的。
Kafka搭建好投入使用后,为了运维更便捷,借助一些管理工具很有必要。Kafka社区似乎一直没有在监控框架方面投入太多的精力,目前Kafka监控方案看似很多,然而并没有一个"大而全"的通用解决方案,各家框架也是各有千秋。很多公司和个人都自行着手开发 Kafka 监控框架,其中并不乏佼佼者。今天我们就来全面地梳理一下主流的监控框架。
1.1 Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。
本篇博主带来的是Kafka的两种监控软件。 一. Kafka Monitor 1. 上传jar包KafkaOffsetMonitor-assembly-0.4.6.jar到集群 2.在/o
CMAK(Cluster Manager for Apache Kafka) 是由 Yahoo 开源的 Kafka 集群管理平台。我们可能听到更多的是 kafka-manager。主要是因为误用了 Apache 的商标,所以才从 kafka-manager 改名为 CMAK。
之前本来想装kafka-manager,现在叫做CMAK,后来发现滴滴开源的kafka-manager,功能更丰富。看了下它的架构图和源码,还是很值得参考和借鉴的。
使用docker-compose搭建kafka集群,解析一些参数含义及列出搭建过程的一些坑。
https://github.com/yahoo/kafka-manager/releases
搭建高吞吐量 Kafka 分布式发布订阅消息 集群 简介 Kafka 是一种高吞吐的分布式发布订阅消息系统,能够替代传统的消息队列用于解耦合数据处理,缓存未处理消息等,同时具有更高的吞吐率,支持分区、多副本、冗余,因此被广泛用于大规模消息数据处理应用。Kafka 支持Java 及多种其它语言客户端,可与Hadoop、Storm、Spark等其它大数据工具结合使用。 环境 Zookeeper集群: 192.168.252.121:2181,192.168.252.122:2181,192.168.252.12
kafka集群使用了3个节点,依赖zookeeper进行协调,所以会同时搭建一套3节点的zookeeper集群。
主要对比滴滴的kafka-manager 和雅虎的CMAK(原名kafka manager)
advertised_listeners 监听器会注册在 zookeeper 中;
canal 模拟 MySQL slave 的交互协议,伪装自己为 MySQL slave ,向 MySQL master 发送dump 协议 MySQL master 收到 dump 请求,开始推送 binary log 给 slave (即 canal ) canal 解析 binary log 对象(原始为 byte 流)
kafka-manager 是雅虎开源的apache-kafka管理工具,是用Scala编写的,可以在web页面进行kafka的相关操作。
本文内容主要来自两个方面:一是网上的分享,二是自研的随手记。日记月累,收录kafka各种命令,会持续更新。
cmak在github上有已经编译好的安装包,我在JDK1.8环境中无法运行,于是才有了上一步的源码编译,我想使用JDK1.8编译,使得安装包可以在JDK1.8环境中运行,结果使用JDK1.8编译都编译不过,于是,只好老老实实的使用JDK11来安装cmak了。
最近项目需要节约成本进行开发,所以要把docker利用的淋漓尽致,暂时只有一台服务器可用。 规划如下:zookeeper开启三个,kafka开启三个,hbase和hadoop在本地开启,不用docker。 参考:https://www.cnblogs.com/idea360/p/12411859.html 首先服务器上已经有了docker,这里我们使用docker-compose,提高开发效率,首先安装docker-compose:
Cluster Manager for Apache Kafka是雅虎开源应用于Kafka集群,用户可在Web 界面执行简单的集群管理操作。
kafka-topics.sh --create --topic test \ --zookeeper zookeeper:2181 --replication-factor 1 \ --partitions 1
准备三台虚拟机,分别是node01,node02,node03,并且修改hosts文件如下:
GitHub地址:https://github.com/abel-max/Java-Study-Note/tree/master
Kafka搭建好投入使用后,为了运维更便捷,借助一些管理工具很有必要。Kafka社区似乎一直没有在监控框架方面投入太多的精力,目前Kafka监控方案看似很多,然而并没有一个"大而全"的通用解决方案,各家框架也是各有千秋。很多公司和个人都自行着手开发 Kafka 监控框架,其中并不乏佼佼者。今天我们就来全面地梳理一下常用监控指标与主流的监控框架。
12月19日,9:00-12:40,由来自腾讯数据湖研发负责人邵赛赛老师出品的DataFunTalk年终大会——大数据架构论坛,将邀请来自腾讯、Tubi、车好多、T3出行、滴滴出行等公司的6位嘉宾,就大数据架构相关主题进行分享。本次会议全程直播,详细信息如下: 01 专题论坛及日程 论坛名称 大数据架构论坛论坛时间 12月19日,09:00-12:40论坛出品邵赛赛 腾讯 数据湖研发负责人分享时间 分享内容09:00-09:40如何让Ozone成为HDFS的下一代分布式存储系统 腾讯高级工程师 毛宝龙09
首先介绍kafka的监控原理,第三方工具也是通过这些来进行监控的,我们也可以自己去是实现监控,官网关于监控的文档地址如下:
对于大数据集群来说,监控功能是非常必要的,通过日志判断故障低效,我们需要完整的指标来帮我们管理Kafka集群。本文讨论Kafka的监控以及一些常用的第三方监控工具。
kafka-manager 工具目前改名为cmak,下载地址为:https://github.com/yahoo/CMAK/releases/tag/3.0.0.5 现在下载最新版本的cmak文件: cmak-3.0.0.5.zip 将该文件下载并放置到/opt/software目录。
可以使用腾讯云服务器 https://cloud.tencent.com/product/cvm ,相对来讲比较便宜。
转载请注明原创地址http://www.cnblogs.com/dongxiao-yang/p/5414077.html
地址:https://store.docker.com/editions/community/docker-ce-desktop-mac
经过上次 Kafka 日志集群某节点重启失败导致某个主题分区不可用的事故之后,这篇文章专门对分区不可用进行故障重现,并给出我的一些骚操作来尽量减少数据的丢失。
一个功能健全的kafka集群可以处理相当大的数据量,由于消息系统是很多大型应用的基石,因此broker集群在性能上的缺陷,都会引起整个应用栈的各种问题。
根据用户特征,重新排序热度榜,之后根据两种推荐算法计算得到的产品相关度评分,为每个热度榜中的产品推荐几个关联的产品
官网的hue:https://gethue.com/quickstart-hue-in-docker/ 因为所做项目已经开发基本完毕到达测试阶段,最近需要测试人员进行专项测试,所以需要一些hbase,redis,kafka这些平台的web操作页面,hbase对应使用hue,redis使用phpRedisAdmin,docker官网:https://hub.docker.com/r/erikdubbelboer/phpredisadmin/,kafka是kafka-manager。 hue的配置难点主要是先sudo docker pull gethue/hue:latest 接下来进去要改/usr/share/hue/desktop/conf下的hue.ini配置文件,在hbase_clusters块中改掉响应配置,接下来在hbase中也改好相应配置,接下来使用docker commit 容器id tag名称上传到本地docker库,再传到harbor仓库上,接下来写好配置文件即可运行,运行之前还要在hbase的hbase-site.xml和hdfs的core_site.xml中添加相应配置,运行成功后如下:
我们做完交换机的维护后,因为资源紧缺,还需要把原先的的2个broker节点加回到集群,将临时的node4 node5 摘出集群。
1.kafka启动之前,在server.properties配置delete.topic.enable=true
领取专属 10元无门槛券
手把手带您无忧上云