Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >如何用Know Streaming 快速对Kafka Topic 完成扩缩副本操作

如何用Know Streaming 快速对Kafka Topic 完成扩缩副本操作

作者头像
石臻臻的杂货铺[同名公众号]
发布于 2022-11-11 10:25:19
发布于 2022-11-11 10:25:19
3840
举报
文章被收录于专栏:kafka专栏kafka专栏

文章目录

功能简介

扩缩副本功能是原生Kafka没有的功能,或者说是没有直接提供的功能。

但是对于扩缩副本这么一个操作功能, 是属与平时不会用, 想用的时候干着急。

比如一开始你的Topic副本数填的是1, 运行了一段时间之后发现, 1的副本可不行啊, 高可用性大大降低, 需要扩副本。

但是你想要扩副本的时候才发现, kafka并没有提供此类功能, 处境很尴尬

现在,用Know Streaming 这个将不再是问题!

操作流程

①. Topic - > 批量变更 -> 迁移副本

②. 填写想要扩缩副本的Topic(可多选)

操作亮点

一次扩缩多个Topic

设置的时候可以一次性选择多个Topic进行副本的扩缩,并且每个Topic可以设置不同的副本数

自定义副本目标节点

如果你想扩缩副本操作之后 副本应该分配在哪些节点中,则可以在下面这里设置。

注:目标节点的数量一定是要大于等于 已选择Topic最终副本的最大数量的哦

比如一个topic 扩至2 一个扩至3. 那么目标节点一定要大于等于3

可预览扩缩副本的计划并手动修改

你可能想了解一下,扩缩之后的分配情况是什么样子的,那么你可以点击 预览任务计划

可以看到你可以针对每个Topic的每个分区的分配情况手动调节(一般情况是不需要的,除非你知道你做的是什么)

这个功能不仅能让你知道最终的分配情况,还能让你手动指定Broker还有顺序。

这个有什么用呢?

假如你想指定某个副本为Leader,按照优先副本的选举策略,你是不是就可以把你想要成为Leader副本的那个调整到最前面。

限流扩缩

扩缩副本的时候,本质上就是 副本的复制和副本的删除流程。

为了防止整个过程对正常业务的影响,这里可以让你设置整个过程的限流阈值。

减少对集群的压力

实现原理

副本的扩缩,本质上就是执行了一次分区副本重分配。

关于分区副本重分配流程请看: 分区副本重分配流程

Know Streaming介绍

Know Streaming脱胎于互联网公司内部多年的Kafka运营实践经验,通过0侵入、插件化构建企业级Kafka服务,极大降低操作、存储和管理实时流数据门槛 不会对Apache Kafka做侵入性改造,就可纳管0.10.x-3.x集群版本,帮助您提升集群管理水平;我们屏蔽了流处理的复杂性,让普通运维人员都能成为流处理专家

Know Streaming Github

Know Streaming 官网

如何参与共建

如何快速优雅的用Know Streaming创建Topic

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2022/11/01 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
【kafka思考】最小成本的扩缩容副本设计方案
从【kafka源码】kafka分区副本的分配规则 中我们已经知道了,如何分区副本是如何进行分配的 那么当我们想要批量进行副本扩缩的时候, 如果按照之前 --generate的重新计算分配方式来做的话, 那么这个数据迁移量是非常大的; 很有可能大部分的副本都有变动(牵一发而动全身) 那么我们有没有什么方式能够尽量减少这种变动吗, 根据这个目标,我们本篇文章就好好思考一下设计方案
石臻臻的杂货铺[同名公众号]
2021/10/25
5280
13张图让你百分百掌握kafka副本同步限流机制
上周我们分别讲解了 《Kafka分区副本同步限流机制三部曲》中的第一篇 《源码篇》
石臻臻的杂货铺[同名公众号]
2021/12/02
1.2K0
13张图让你百分百掌握kafka副本同步限流机制
【kafka运维】你真的懂数据迁移吗?(附教学视频)
如果你不想看文章,可以直接看配套的视频; (后续的视频会在 公众号、CSDN、B站等各平台同名号石臻臻的杂货铺上上传 )
石臻臻的杂货铺[同名公众号]
2021/07/26
7190
【kafka运维】你真的懂数据迁移吗?(附教学视频)
【kafka源码】ReassignPartitionsCommand分区副本重分配源码原理分析(附配套教学视频)
(后续的视频会在 公众号[全套视频首发]、CSDN、B站等各平台同名号[石臻臻的杂货铺]上上传 )
石臻臻的杂货铺[同名公众号]
2022/11/30
6370
【kafka源码】ReassignPartitionsCommand分区副本重分配源码原理分析(附配套教学视频)
如何用Know Streaming来查询Kafka的消息
Kafka的消息查看功能算是一个呼声比较高的需求了。但是它目前还并不能像RocketMq那样比较友好的对消息做一些复杂查询操作。
石臻臻的杂货铺[同名公众号]
2022/11/16
7810
如何用Know Streaming来查询Kafka的消息
详解Kafka分区副本分配的Bug
今天这篇文章,给大家分享一下最近看kafka源码时候,困扰我几天的疑惑,供大家一起思考讨论,确定一下它是不是一个 Bug 欢迎留言一起探讨!
石臻臻的杂货铺[同名公众号]
2022/04/13
6670
详解Kafka分区副本分配的Bug
【kafka实战】分区重分配可能出现的问题和排查问题思路(生产环境实战,附视频)
先定义一下名词: 迁移前的Broker: OriginBroker 、 迁移后的副本 TargetBroker
石臻臻的杂货铺[同名公众号]
2021/12/31
5270
【kafka实战】分区重分配可能出现的问题和排查问题思路(生产环境实战,附视频)
【kafka实战】分区重分配可能出现的问题和排查问题思路(生产环境实战,干货!!!非常干!!!建议收藏)
先定义一下名词: 迁移前的Broker: OriginBroker 、 迁移后的副本 TargetBroker
石臻臻的杂货铺[同名公众号]
2021/07/14
6820
Kafka 负载均衡在 vivo 的落地实践
Kafka 客户端可以使用分区器依据消息的key计算分区,如果在发送消息时未指定key,则默认分区器会基于round robin算法为每条消息分配分区;
2020labs小助手
2022/06/06
8420
Kafka万亿级消息实战
本文主要总结当Kafka集群流量达到 万亿级记录/天或者十万亿级记录/天  甚至更高后,我们需要具备哪些能力才能保障集群高可用、高可靠、高性能、高吞吐、安全的运行。
2020labs小助手
2021/05/18
1.1K0
Kafka如何修改分区Leader | 文末送书8本
前几天有个群友问我: kafka如何修改优先副本? 他们有个需求是, 想指定某个分区中的其中一个副本为Leader
石臻臻的杂货铺[同名公众号]
2021/09/30
1.1K0
Kafka如何修改分区Leader | 文末送书8本
比迅雷还猛的kakfa数据迁移,秒传小电影!(附教学视频)
在进行分区副本重分配之前,最好是用下面方式获取一个合理的分配文件; 编写move-json-file.json文件; 这个文件就是告知想对哪些Topic进行重新分配的计算
石臻臻的杂货铺[同名公众号]
2021/07/28
6850
比迅雷还猛的kakfa数据迁移,秒传小电影!(附教学视频)
kafka集群扩容后的数据均衡
生产环境的kafka集群扩容,是一个比较常见的需求和操作。然而kafka在新增节点后并不会像elasticsearch那样感知到新节点加入后,自动将数据reblance到整个新集群中,因此这个过程需要我们手动分配。
一条老狗
2019/12/26
5.2K0
kafka集群扩容后的数据均衡
图解Kafka分区副本同步限流机制三部曲(源码原理篇+测试用例 )
上面的ConcurrentHashMap throttledPartitions 就是所有需要被限流的副本列表,那么是在哪里被赋值的呢?
石臻臻的杂货铺[同名公众号]
2021/12/09
7730
图解Kafka分区副本同步限流机制三部曲(源码原理篇+测试用例 )
❤️3万字长文呕心沥血教你彻底搞懂数据迁移原理❤️(附配套教学视频)
(后续的视频会在 公众号[全套视频首发]、CSDN、B站等各平台同名号[石臻臻的杂货铺]上上传 )
石臻臻的杂货铺[同名公众号]
2021/08/03
4880
❤️3万字长文呕心沥血教你彻底搞懂数据迁移原理❤️(附配套教学视频)
Kafka基础知识索引
从 0.9 版本开始,Kafka 的标语已经从“一个高吞吐量,分布式的消息系统”改为”一个分布式流平台“。
用户6070864
2019/09/04
5030
Kafka基础知识索引
系列一:关于kafka的思考——后kafka时代下的消息队列,Kafka还会走多远?【kafka技术事务所】
kafka作为一个老的基础组件,很多读者都已经对其设计和原理十分熟悉,面向Pulsar的冲击下,很多人或许会犹豫究竟要选择哪个技术?
大数据事务所-大菜菜
2021/09/09
5490
系列一:关于kafka的思考——后kafka时代下的消息队列,Kafka还会走多远?【kafka技术事务所】
如何快速全面掌握Kafka?5000字吐血整理
Kafka 是目前主流的分布式消息引擎及流处理平台,经常用做企业的消息总线、实时数据管道,本文挑选了 Kafka 的几个核心话题,帮助大家快速掌握 Kafka,包括:
大数据技术架构
2020/03/13
2.6K0
如何快速全面掌握Kafka?5000字吐血整理
Kafka快速入门(Kafka Broker)节点服役和退役、手动调整副本
(3)查看/kafka/brokers/topics/first/partitions/0/state 路径上的数据。
鱼找水需要时间
2023/02/16
9820
Kafka快速入门(Kafka Broker)节点服役和退役、手动调整副本
从Kafka到Pulsar——数据流演进之路 | 青训营笔记
提供批/流数据处理能力、各类组件提供各类Connect、提供Streaming/Function能力、根据数据schema灵活的进行数据预处理
鳄鱼儿
2024/05/21
2610
从Kafka到Pulsar——数据流演进之路 | 青训营笔记
推荐阅读
相关推荐
【kafka思考】最小成本的扩缩容副本设计方案
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档