如何用Know Streaming 快速对Kafka Topic 完成扩缩副本操作
如何用Know Streaming 快速对Kafka Topic 完成扩缩副本操作
文章目录
功能简介
扩缩副本功能是原生Kafka没有的功能，或者说是没有直接提供的功能。
但是对于扩缩副本这么一个操作功能, 是属与平时不会用, 想用的时候干着急。
比如一开始你的Topic副本数填的是1, 运行了一段时间之后发现, 1的副本可不行啊, 高可用性大大降低, 需要扩副本。
但是你想要扩副本的时候才发现, kafka并没有提供此类功能, 处境很尴尬
现在,用Know Streaming 这个将不再是问题！
操作流程
①. Topic - > 批量变更 -> 迁移副本
②. 填写想要扩缩副本的Topic(可多选)
操作亮点
一次扩缩多个Topic
设置的时候可以一次性选择多个Topic进行副本的扩缩，并且每个Topic可以设置不同的副本数
自定义副本目标节点
如果你想扩缩副本操作之后 副本应该分配在哪些节点中，则可以在下面这里设置。
注：目标节点的数量一定是要大于等于 已选择Topic最终副本的最大数量的哦
比如一个topic 扩至2 一个扩至3. 那么目标节点一定要大于等于3
可预览扩缩副本的计划并手动修改
你可能想了解一下，扩缩之后的分配情况是什么样子的，那么你可以点击 预览任务计划
可以看到你可以针对每个Topic的每个分区的分配情况手动调节（一般情况是不需要的,除非你知道你做的是什么）
这个功能不仅能让你知道最终的分配情况，还能让你手动指定Broker还有顺序。
这个有什么用呢？
假如你想指定某个副本为Leader，按照优先副本的选举策略，你是不是就可以把你想要成为Leader副本的那个调整到最前面。
限流扩缩
扩缩副本的时候，本质上就是 副本的复制和副本的删除流程。
为了防止整个过程对正常业务的影响，这里可以让你设置整个过程的限流阈值。
减少对集群的压力
实现原理
副本的扩缩,本质上就是执行了一次分区副本重分配。
关于分区副本重分配流程请看： 分区副本重分配流程
Know Streaming介绍
Know Streaming脱胎于互联网公司内部多年的Kafka运营实践经验，通过0侵入、插件化构建企业级Kafka服务，极大降低操作、存储和管理实时流数据门槛 不会对Apache Kafka做侵入性改造，就可纳管0.10.x-3.x集群版本，帮助您提升集群管理水平；我们屏蔽了流处理的复杂性，让普通运维人员都能成为流处理专家