Kafka:没有发生分区重新分配
Kafka是一种分布式流处理平台，用于构建高性能、可扩展的实时数据流应用程序。它具有高吞吐量、低延迟、持久性和容错性等特点，被广泛应用于大数据领域。
Kafka的主要概念包括主题（Topic）、分区（Partition）、生产者（Producer）、消费者（Consumer）和消费者组（Consumer Group）等。
- 主题（Topic）是消息的类别或者主要标识，可以理解为消息的分类。每个主题可以被分为多个分区。
- 分区（Partition）是主题的一个子集，用于实现数据的分布式存储和负载均衡。每个分区在物理上都对应一个独立的日志文件。
- 生产者（Producer）负责向Kafka的主题发送消息。生产者可以选择将消息发送到特定的分区，也可以让Kafka自动选择分区。
- 消费者（Consumer）从Kafka的主题中读取消息。消费者可以以不同的方式消费消息，例如按照时间顺序、按照分区等。
- 消费者组（Consumer Group）是一组消费者的集合，它们共同消费一个或多个主题。每个分区只能被同一个消费者组中的一个消费者消费，这样可以实现负载均衡和容错性。
Kafka的优势在于其高性能、可扩展性和容错性。它可以处理大规模的数据流，并且能够水平扩展以适应不断增长的数据量。此外，Kafka还具有持久性存储和数据复制的特性，确保数据的可靠性和高可用性。
Kafka的应用场景非常广泛，包括实时日志收集、事件驱动架构、消息队列、流式处理、指标监控等。例如，在实时日志收集场景中，Kafka可以作为日志的中间存储，将日志数据发送到各个消费者进行处理和分析。
腾讯云提供了一系列与Kafka相关的产品和服务，例如TDMQ（消息队列）、CKafka（云原生消息队列）、Ckafka for Apache Kafka（Kafka兼容服务）等。您可以通过以下链接了解更多关于腾讯云Kafka相关产品的详细信息：
需要注意的是，以上答案仅涵盖了Kafka的基本概念、优势和应用场景，并提供了腾讯云相关产品的介绍链接。如果需要更加详细和全面的答案，可以进一步深入研究Kafka的相关文档和资料。
相关·内容
对于特定的主题，我们希望每个代理有一个分区。我们的想法是，为了扩大规模，我们继续增加经纪人。但是，当我测试如何添加新分区时，它的工作方式并不像我所期望的那样。例如，我有三个经纪人: 2064029428,2064029280,2064028458。我创造了一个新的主题：
/opt/kafka/bin/kafka-topics.sh --create --zookeeper zk.net:2181/stream --topic test --partitions 2 --replication-factor 1
/opt/kafka/bin/kafka-topics.sh --describe
浏览 0提问于2014-06-26得票数 3
回答已采纳
我对卡夫卡有意见。
我将kafka版本从0.11.0.1升级到1.1.0。升级之后，我收到的警告信息太多了。
[2018-06-19 13:34:45,377] WARN Received a PartitionLeaderEpoch assignment for an epoch < latestEpoch. This implies messages have arrived out of order. New: {epoch:0, offset:350280659}, Current: {epoch:4, offset:126401625} for Partition: __con
浏览 2提问于2018-06-19得票数 2
回答已采纳
我们有6个节点kafka集群。在这6台机器中，3台都有卡夫卡+动物园管理员，其余3台只有卡夫卡。最近，我们又增加了一个kafka节点。在将分区重新分配给所有节点(包括较新的节点)时，我们执行以下命令：
/opt/kafka/bin/kafka-reassign-partitions.sh --reassignment-json-file new_assignment_details.json --execute --zookeeper localhost:2181
但是，当我们使用以下命令验证状态时，
/opt/kafka/bin/kafka-reassign-partitions.sh --
浏览 12提问于2019-11-11得票数 3
我们有卡夫卡集群，集群包括7卡夫卡经纪人，
版本详细信息：
Kafka machines are installed on rhel version 7.2
Kafka version is 0.1x
Zookeeper version: 3.4.10
schema-registry version: 4.0.0
每台Kafka代理机器包括以下服务
Kafka broker
Zookeeper server
Schema registry
现在我们要从当前的Kafka集群中删除2 Kafka代理机器(我们要删除的卡夫卡机器是- 06/07 ( Kafka版本- 0.1X，)
因此，集群最终应
浏览 2提问于2020-08-19得票数 1
回答已采纳
1回答
我发现Kafka的分区机制既笨拙又不舒服。Kafka不支持自动分区重新分配功能，导致以下问题：
如果你想添加节点，你必须手动执行bin/kafka-reassign-partitions.sh脚本。你必须以JSON格式手动写出每个主题的分区重新分配。On broker failure，我认为副本应该在不重新分区的情况下激活。这可能导致热点斑点。我说的对吗？
问题：
有没有什么架构/设计上的原因，为什么Kafka没有/不应该有自动分区重新分配？这是因为它降级了performance?What是bin/kafka-reassign-partitions.sh__背后的分区重新分配算法吗？Kafka
浏览 56提问于2019-04-09得票数 1
回答已采纳
对于是否有效或不使用带偶数的kafka集群，我们并不感到困惑。
故事开始于我们用6台机器构建kafka集群，并试图使用kafka重新分配分区工具，因为kafka经纪人的不平衡。
不幸的是，kafka重新分配分区工具没有成功地重新分配分区。
所以我们怀疑卡夫卡机器的偶数
那么使用卡夫卡偶数是对还是错呢？
浏览 5提问于2020-01-23得票数 0
回答已采纳
我们有Kafka集群版本2.7
每台机器都有一个磁盘，如下所示
/dev/sdb 82% /var/kafka/data1
所有主题都在/var/kafka/data1 1下面。
我们决定向每个kafka添加7个磁盘，如下所示
我们在每个新磁盘上创建了XFS文件系统，包括挂载(和fstab配置)。
具体如下：
/dev/sdb 82% /var/kafka/data1
/dev/sdc 1% /var/kafka/data2
/dev/sdd
浏览 1提问于2022-01-18得票数 0
回答已采纳
我们的设置有一个Zookeeper和多个独立的Kafka代理。我们需要在特定的代理上以编程方式创建一个主题。
我们使用AdminUtils来创建主题(首先检查它是否已经存在)。调用如下所示：
AdminUtils.createTopic(zkUtils, topic, partitions = 1, replicationFactor = 1, properties)
“属性”只有一个条目，用于cleanup.policy。这个调用的问题是，没有地方指定我们想要在哪个Kafka代理上创建主题，所以Zookeeper随机选择了一个。
如何指定要为其创建主题的代理？
浏览 1提问于2016-11-22得票数 0
我很困惑卡夫卡-重新分配-寓言是如何为__consumer_offsets主题工作的？
我从1 zk和1 kafka broker开始，用replication=1、partition=1创建一个测试主题。效果很好。
我看到创建了__consumer_offsets主题。
现在我添加了第二个代理，offsets.topic.replication.factor=2.我负责管理，
kafka-重新分配-分区-zookeeper 1:2181-主题-移动-json-文件主题-move.json-代理-列表"101,102“-生成。
生成的重新分配看起来不正确。只有一个副本，即使有两个活经纪
浏览 2提问于2017-09-18得票数 2
回答已采纳
我正在尝试从最早的偏移量中读取卡夫卡主题，然后通过python脚本对某些记录进行墓碑。由于消息数量巨大(百万+)，我希望利用多处理来使脚本在使用消息时更快。下面是脚本中的一段代码：
from kafka import KafkaConsumer
def cleanup_kafka_topic(self, env):
# Declarations
consumer = KafkaConsumer(<topic_name>, group_id=<some_group>),
boots
浏览 71提问于2021-02-19得票数 0
我有一个关于Kubernetes中的Kafka的问题，特别是自动缩放...
假设我在Kubernetes的3个Pod中有3个Kafka Broker，有一个带有5个分区(P1，P2，P3，P4，P5)的TopicA，复制因子是3，所有的Broker都有他们的持久卷，我在Kubernetes中配置了自动扩展，所以如果它检测到Kafka Pods中的%80CPU/内存使用率，它将为Kafka Broker启动额外的Pod...
如果我没有完全错的话，Kafka会检测到Zookeeper上的额外实例，并可以移动分区(所以假设P1，P2在Broker1和P3，P4在Broker2，P5在Broker3
浏览 5提问于2019-11-06得票数 2
当我们运行kafka-reassign-partition工具来平衡代理之间的分区时。我们必须阻止生产者和消费者从kafka topic中写入和读取数据吗？
浏览 0提问于2018-03-27得票数 0
我正在运行kafka集群版本3的3个节点，我创建了一个包含3个分区和3个复制因子的主题，我将副本减少到2个。
{"version":1,
"partitions":[
{"topic":"vpn7-test","partition":0,"replicas":[1,2]},
{"topic":"vpn7-test","partition":1,"replicas":[1,2]},
{"topic
浏览 2提问于2022-05-02得票数 0
我们新的kafka集群空间耗尽的速度比预期的要快，所以我采取了一些措施来缓解：
1)我为有问题的主题打开了快速压缩:这是在代理端使用"kafka-topics -config compression.type=snappy“命令完成的，这样就不会中断生产者
2)我将集群中的kafka节点数量增加了一倍
3)我重新平衡了集群。
这些步骤奏效了，我们赢得了一些时间。我知道1只适用于新生成的数据，但我想知道，重新平衡到新节点的分区在到达新代理时是否会被压缩，或者它们是否会保留其原始形式(没有生产者压缩，因此它们都是未压缩的)。旧的节点上有一些其他的东西，这使得从简单的磁盘使用分析中很难推断出
浏览 6提问于2018-12-13得票数 0
我在Kafka代理之间迁移数据时遇到错误。 我正在使用kafka-reassignment工具将分区重新分配给不同的代理，而不进行任何限制(因为它不能使用下面的命令。)大约有50个主题的400个分区。 Apache Kafka 1.1.0
Confluent Docker Image tag : 4.1.0 命令： kafka-reassign-partitions --zookeeper IP:2181 --reassignment-json-file proposed.json --execute —throttle 100000000 一段时间后，我能够在目标代理上连续看到下面的错误
浏览 91提问于2019-09-13得票数 1
回答已采纳
我提交了多个spark streaming作业，这些作业使用相同的group.id消耗同一个kafka topic，正如纯Kafka文档中所说的，拥有相同group.id的多个消费者将加入同一个消费组，并且kafka topic中分块的记录将被拆分成这些消费者。然而，正如我在我的工作中测试的那样，这两个spark streaming作业仍然使用相同的主题的所有分区(不是均匀分割的)，并且在who进程期间没有发生重新分区/异常。这里有人知道Spark是如何管理与纯kafka平台不同的kafka分区偏移的吗？也许这是因为zookeeper管理spark中的kafka偏移量，而不是kafka本身管
浏览 63提问于2021-07-30得票数 0
我们已经在RHEL 7.6 linux版本上安装了3台kafka代理机器。
卡夫卡版本是2.7.x
每个kafka都有8个Jbod磁盘，如下所示( df -h详细信息)
df -h
/dev/sdc 1.7T 929G 748G 56% /kafka/kafka_logs2
/dev/sdd 1.7T 950G 727G 57% /kafka/kafka_logs3
/dev/sde 1.7T 999G 678G 60% /kafka/kafka_logs4
/
浏览 3提问于2021-10-26得票数 0
这是如何使用名称- test_test创建新的10个主题分区的示例。
kafka-topics.sh --create --zookeeper zookeeper01:2181 --replication-factor 3 --partitions 10 --topic test_test
Created topic "test_test".
[root@kafka01 kafka-data]# \ls -ltr | grep test_test
drwxr-xr-x 2 kafka hadoop 4096 Mar 22 16:53 test_test-8
drwxr
浏览 3提问于2020-03-22得票数 0
回答已采纳
我有一个关于Kafka中重新分区的问题...
假设我有一个主题，它在3个代理Kafka集群上有3个分区，复制因子为3，这意味着每个代理将有一个主分区，另外2个代理将拥有此分区的复制，我知道在分区内，只要分区分布策略保持不变，分区内的有序交付就能得到保证。
我的问题是，假设我认为3个分区是不够的，我决定再添加一个分区和一个代理，然后会发生什么？如果分区策略这样说，那么已经在分区中的消息是否会被传输到新分区，或者它们将留在旧分区中并且只将新记录写入新分区？
如果在创建新分区后重新排列所有分区，是否会保留交付顺序？
浏览 4提问于2018-12-11得票数 2
我有一个复制因子为3的主题"reptop“。我的集群由4个代理ID组成: 0,1,2,3。当主题创建时，代理0,2和3被分配到主题，leader为'2'，现在当我的一个经纪人，领导者或追随者关闭时，kafka不会将主题复制到代理:1，即使它是健康的，ISR小于复制因子，但当已经关闭并最初分配到该主题的代理重新启动时，Kafka会将该主题复制到此节点。所以问题是，为什么kafka不将主题复制到在创建主题时没有分配主题的代理，即使集群上有健康的代理和"ISR
浏览 0提问于2018-03-24得票数 0
1回答
我们可以为kafka主题指定自定义分割器。因此，kafka生产者可以根据特定的自定义算法将消息确定地发送到特定的分区。
现在的问题是，当我增加分区数量时，kafka将如何在新分区之间重新分配现有消息？或者Kafka不会将消息分发到新分区？有可能触发这种重新分配吗？如果是这样，那么kafka将如何了解自定义分区程序，因为这段代码驻留在生产者部分？
浏览 6提问于2020-09-15得票数 1
在定义kafka主题时，我可以设置复制因子，通常Kafka会将分区分布在可用的代理上。
假设我有3个代理，有一个主题，有几个分区，复制因子=2，那么一些分区将设置在代理0,1上，一些分区设置在0,2上，一些分区设置在上
我是否可以稍后仅设置一个分区的复制因子为3(并因此将此分区添加到剩余节点)，而不必对其他分区也执行此操作？使用一个数字！=所有分区复制到比其他分区更多/更少的节点有什么缺点吗？
我看到的所有文档等都只是从整个主题的角度来讨论复制因素
我知道我在每个分区的基础上使用了kafka- reassign -partitions，但是我没有发现关于只重新分配几个分区是好是坏或者可能有什么
浏览 1提问于2020-01-13得票数 0
我现在在集群中有四个卡夫卡节点。kafka1是旧的，拥有所有的数据，它的控制器kafka1 2，3，4是新的，没有数据
数据正在连续地从kafka1中写入和读取。
我可以这么做吗？
将dns kafka1更改为kafka4 (这是集群-数据写入正确吗？)
启动kafka-重新分配-Partions.sh，将数据从kafka1移动到kafka4的
关机kafka1
向主题添加副本
是这样的吗？还是更好的方法？
浏览 4提问于2017-11-08得票数 0
回答已采纳
我要安装卡夫卡公司的消息。计划是首先在一台巨大的机器上安装卡夫卡，并在需要时将其扩展到4-5台机器(一个集群)。
我对卡夫卡没什么经验。想问一问是否可以通过更改代理配置中的参数并在新加入的机器上安装动物园管理员来进行缩放。
或者我怎样才能用最简单的方式来做这件事呢？更具体地说，CDH中的Cloudera Kafka。
谢谢
浏览 4提问于2015-10-30得票数 2
回答已采纳
我的应用程序运行在一个由3个节点组成的Kubernetes集群上，并使用Kafka来流数据。我试图检查我的系统从节点故障中恢复的能力，所以我故意让其中一个节点故障了1分钟。
在大约50%的时间里，我经历了单个数据记录在节点失效后的数据丢失。如果控制器Kafka broker在失败的节点上运行，我会看到一个新的控制器代理按预期进行了选择。当发生数据丢失时，我在新的控制器代理日志中看到以下错误：
错误控制器id=2 epoch=13控制器2期13未能更改分区__epoch=13_偏移-45从OfflinePartition到OnlinePartition (state.change.logger)
浏览 5提问于2022-04-12得票数 1
我们有4个代理的kafka集群和一些具有复制因子1和10个分区的主题。有一次，我们4台服务器中有2台卡夫卡集群失败了。因此，现在我们有两个经纪人具有相同的主题。当我明白m run command ./kafka_topics.sh --zookeeper localhost:2181 --describe i的意思时：
Topic:outcoming-notification-error-topic PartitionCount:10 ReplicationFactor:1 Configs:
Topic: outcoming-error-t
浏览 2提问于2019-10-02得票数 5
回答已采纳
目前为Kafka 0.9.0.1中的特定主题配置了22个副本。
是否可以将主题的复制因子降低到3？
如何通过卡夫卡CLI或卡夫卡经理来做到这一点？
我找到了一种只增加副本数量的方法--
浏览 6提问于2020-10-25得票数 2
1回答
我有一个卡夫卡生产集群，有5个节点和大约500个主题。我需要扩展我的集群以添加2个新节点，而且由于Kafka不提供自动数据重新分区，所以我希望运行随Kafka发行版一起附带的kafka-reassign-partitions.sh，以重新平衡集群中全部7个节点中的所有主题。
由于集群中已经有大量的生产数据，
运行此脚本会阻止对我的Kafka主题的任何并发写入吗？
运行这个脚本会减慢集群/生产者/消费者的速度吗？
如果我的集群在这个脚本的执行过程中开始出错，我如何在这个脚本进行过程中停止这个脚本？
我目前正在使用卡夫卡v0.8.2.0与多个生产者和多个消费者。
浏览 1提问于2016-09-12得票数 6
回答已采纳
2回答
Kafka分区延迟增加
、、、
我有一个使用Kafka 1.0作为队列的应用程序。Kafka主题有80个分区和80个消费者在运行。(Kafka-python消费者)。
通过运行以下命令：
./bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group mygroup --describe
我看到其中一个分区卡在偏移量上，随着新记录的添加，延迟不断增加。
上述命令的输出如下所示：
TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG
浏览 0提问于2017-11-15得票数 2
我正在运行一个卡夫卡集群上的3个相同的VM，4核和16 of的RAM。主题配置包括每个分区的6个不同分区。卡夫卡版本: kafka_2.13-2.8.0动物园管理员版本: 3.5.7
broker.id=0
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data2
num.partitions=6
default.replication.fa
浏览 3提问于2022-08-04得票数 0
我使用的是kafka 0.8.2 &我的一台kafka服务器死了(无法恢复磁盘上的数据)。有一个主题，复制为1，其中一个分区在失效的服务器上。我以为重新分配会将该分区的元数据移动到一个新的服务器上，而不需要数据，但重新分配坚持使用in progress。
我跑了一下：
$ /opt/kafka/kafka/bin/kafka-reassign-partitions.sh --zookeeper myzookeeper.my.com --reassignment-json-file new_assignment.json --verify
Status of partition reas
浏览 33提问于2015-05-28得票数 12
我运行的是具有多个产品和消费者的单个Kafka服务器。现在我想通过添加另一个代理来实现Kafka集群。如何通过使用带有复制因子的相同主题来实现这一点。
浏览 17提问于2019-05-29得票数 1
我们正在调查25名经纪人。但是，__consumer_offsets主题的分区仅分布在3个代理上，并不像我们所期望的那样完全可用。这可能不是问题，因为kafka支持跨代理重新分配分区。但是我们不愿意重新分配它们，因为主题是__consumer_offsets。
集群信息：
经纪人版本: 0.11.0.2
经纪人人数: 25
__consumer_offsets主题状态：
分区数: 50
复制数量:3
代理价差:3(50个分区放置在3个分区上)
我的问题是:重新分配__consumer_offsets主题的分区是否会导致问题？
浏览 1提问于2018-03-26得票数 1
回答已采纳
kafka-重新分配-分区-生成主题__commit_offsets给了我一个奇怪的结果:分区副本只在一个代理上，但是每个分区预期有3个副本。
我所做的工作如下：
test@kafka-1:~/Kafka-Docker$ sudo docker exec -it broker bash
[appuser@broker ~]$ echo '{"version":1, "topics":[{"topic":"__consumer_offsets"}]}' > topics-to-move.json
[appuse
浏览 2提问于2021-11-03得票数 0
回答已采纳
在我们的生产环境中，我们经常看到分区在使用来自主题的消息时被复制。我们使用的是Kafka 0.11。从文档中可以理解的是
删除配置参数replica.lag.max.messages。分区领导者在决定哪些副本同步时不再考虑滞后消息的数量。
配置参数replica.lag.time.max.ms现在不仅是指上次从副本获取请求所经过的时间，也是指自副本上次捕获以来的时间。那些仍然从领导者那里获取消息但没有赶上replica.lag.time.max.ms中最新消息的副本将被认为是不同步的。
我们如何解决这个问题？复制不同步的不同原因是什么？在我们的场景中，所有的Kafka代理都位于刀片服务器的单个
浏览 0提问于2018-07-24得票数 11
回答已采纳
我正在发布相同的数据(主题，键和值)从基于python confluent_kafka库的生产者和基于Java apache库的生产者，但当消息检查卡夫卡，然后他们被发布到不同的卡夫卡分区。
我期望在默认情况下，这两个库都将使用相同的散列方法(murmur2)，并在将消息发布到Kafka时确定相同的分区，但看起来这并没有发生。
是否需要在Python库上设置标志或选项，以便它使用相同的算法并生成相同的(与Java库相同的) Kafka分区，或者是否有其他python库可以实现这一点？
浏览 4提问于2020-02-29得票数 0
我们计划将集群从2个节点扩展到8个节点。分区重新分配工具可以选择移动主题或分区。
为了重新分配分区，我计划遵循以下步骤。
不管节点添加的数量多少，如果我给出了主题中的所有主题到-move.json和下面命令中的所有代理，那么它将在节点之间分配相同的分区，对吗？
bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --topics-to-move-json-file topics-to-move.json --broker-list "0,1,2,3,4,5,6,7" --generate
在此之后，我计划申请
浏览 4提问于2017-09-04得票数 3
回答已采纳
我有一个带有以下副本的分区：
Topic: topicname Partition: 10 Leader: 1 Replicas: 1,2,4,3 Isr: 1,2,3
其中副本4是一个不存在的代理。我不小心把这个代理作为一个错误添加到复制集中。
我想从复制集中删除4。但是在运行kafka-reassign-partitions.sh之后，删除副本#4的重新分配从未完成。
kafka-reassign-partitions.sh --zookeeper myzookeeperhost:2181 --reassignment-json-file remove4.txt --ex
浏览 1提问于2017-08-01得票数 3
我希望将一个4节点的Kafka集群迁移到一个新的集群，每个代理上有大约300 on的数据。问题是我们目前运行的是Cloudera的Kafka (CDK)，我们想运行Apache Kafka。在大多数情况下，CDK与Apache Kafka非常相似，但我正在尝试找出最好的迁移方法。我最初考虑使用MirrorMaker，但据我所知，一旦我们将消费者切换到新的集群，它将重新处理消息，所以我认为这是不可能的。我想知道我们是否可以启动一个新的Apache Kafka集群并将其添加到CDK集群中(如果有的话，还不确定这将如何工作)，然后一次一个地停止CDK服务器。否则，除了创建一个新的Apache Kaf
浏览 1提问于2019-10-22得票数 0
我的问题与完全相似，只不过我的应用程序中的背压是"OK“。
我认为问题在于我的本地机器没有足够的配置，所以我创建了一个72核心的Windows机器，在这里我从Kafka读取数据，用Flink处理数据，然后用Kafka编写输出。我查过了，写卡夫卡水槽没有引起任何问题。
我所要寻找的是那些可能通过增加并行性而导致任务时隙间吞吐量分裂的区域？
Flink版本: 1.7.2
Scala版本: 2.12.8
Kafka版本: 2.11-2.2.1
Java版本: 1.8.231
应用程序的工作:数据来自Kafka (一个分区)，Flink是反序列化的(这里的吞吐量是5k/秒)。然后，反序列化消息
浏览 3提问于2019-11-28得票数 1
回答已采纳
我正在测试kafka的分区重新分配，作为启动生产系统的前兆。我有几个主题，每个主题有9个分区，复制因子为3。我杀死了一个代理来模拟失败的情况，并验证了一些主题在复制下(通过yahoo的kafka管理器的分支完成验证，修改后允许添加0.10.0.1版集群)。
然后，我用不同的id创建了一个新的代理。现在，我想将分区分配给这个新的代理。我尝试使用kafka管理器的重新分配分区功能，但是没有工作(可能是由于不正确地修改了fork)。
我看到kafka附带了一个bin/kafka-reassign-partitions.sh脚本，但是文档说我必须以json格式手动写出每个主题的分区重新分配。有没有一种
浏览 12提问于2016-09-20得票数 3
回答已采纳
我们在LinuxRHEL7.6(3台Linux机器)上有3个Kafka代理。
卡夫卡版本为2.7.X
经纪人ID是- 1010,1011,1012
从卡夫卡的描述中我们可以看到以下内容
Topic: __consumer_offsets Partition: 0 Leader: none Replicas: 1011,1010,1012 Isr: 1010
Topic: __consumer_offsets Partition: 1 Leader: 1012 Replicas: 1012,1011,1010
浏览 7提问于2021-12-20得票数 -1
回答已采纳
我有一个由6个代理和60多个主题组成的Kafka集群，复制因子为2或3。我们计划用新的节点替换所有现有的代理。
我有两个问题：
一旦我们将6个新节点添加到集群中，使集群总共有12个节点，并逐个关闭旧代理，副本会自动转移到新代理中吗？
如果不是，我们将不得不使用重新分配工具移动他们，在这种情况下，我们是否也需要移动__consumer_offsets主题，或者卡夫卡将处理它本身？
浏览 0提问于2018-04-13得票数 2
回答已采纳
我有一个运行2个分区的集群。我正在寻找一种方法将分区数增加到3。但是，我不想丢失有关该主题的现有消息。我尝试停止，修改server.properties文件，将分区数增加到3，然后重启Kafka。然而，这似乎并没有改变任何事情。使用Kafka ConsumerOffsetChecker，我仍然看到它只使用了2个分区。我使用的版本是0.8.2.2。在0.8.1版本中，曾经有一个名为kafka-add-partitions.sh的脚本，我猜它可能会做到这一点。然而，我在0.8.2中没有看到任何这样的脚本。
有什么办法做到这一点吗？
我确实尝试创建了一个全新的主题，对于这个主题，它似乎确实根据ser
浏览 72提问于2015-11-13得票数 98
回答已采纳
我们使用卡夫卡镜片制造者版本1来反映卡夫卡集群之间的数据。我知道MM1是不受欢迎的，但它是软件的坚实组成部分，完全可以满足我们的需要。我们使用它的是一个专门的Kafka安装，它独立于我们存储数据的集群(目前正在运行Kafka版本2.6 )。
我们使用了Kafka 2.7.x的“镜Kafka Kafka”，并最近更新了这个3.3.1。从那时起，我们在out MM日志中有很多消息：
2022-12-01 15:07:45,368 INFO Metadata - [Producer clientId=*****] Resetting the last seen epoch of partition
浏览 78提问于2022-12-02得票数 0
我想知道spring boot内部的spring kafka Producer是否保证交付。
有人知道如果某个随机监听器无法接收消息会发生什么情况吗？spring kafka是否会重试发送消息？
浏览 0提问于2019-05-29得票数 0
版本
我正在使用kafka 2.8.1 (撰写本文时最晚的2.x )。
背景
我有一个主题ingress，它有64个分区、3x复制和8个代理。在文档之后，我将集群扩展到12个代理。我不喜欢将--generate选项用于kafka-reassign-partitions.sh，因为它并不试图最小化数据移动。因此，我创建了一个手动的新任务，将副本移动到4个新的代理，调整首选领导人，并确保每个代理都有16个副本。我把重新分配的json分成16部分，这样我就可以控制移动的复制品，而不是一次移动整个世界。这个过程是最佳实践(请参阅docs、和)。
错误
但是，我在第一次重新分配时犯了一个错误，我取消了k
浏览 3提问于2022-08-17得票数 6
回答已采纳
我有一个使用kafka streams的spring boot应用程序(kafka docker镜像：wurstmeister/kafka:2.12-2.1.1，kafka依赖：org.apache.kafka:kafka-streams:2.4.1)。在应用程序启动期间，我检查是否创建了主题my-topic，如果没有- application创建了它。在该应用程序创建KTable之后，如下所示：
streamsBuilder.table("my-topic", Consumed.with(Serdes.String(), Serdes.String()), Materiali
浏览 1提问于2020-05-22得票数 0
1回答
让我们假设，一个有5个消费者的消费者组，订阅了一个有10个分区的主题。现在，如果向同一主题添加了10个以上的分区。它会触发再平衡。为什么kafka重新分配以前分配的分区，为什么它不能在消费者组中分配新创建的分区。
浏览 20提问于2019-02-02得票数 1
我们有以下问题：
我们希望聆听某些Kafka主题并构建它的“历史”--因此对于指定的键提取一些数据，将其添加到该键的现有列表中(如果不存在，则创建一个新的)--将其放到另一个主题中，该主题只有一个分区，并且非常紧凑。另一个应用程序可以只听这个主题并更新它的历史列表。
我在想它和卡夫卡溪流图书馆有什么关系。我们当然可以使用聚合：
msgReceived.map((key, word) -> new KeyValue<>(key, word))
.groupBy((k,v) -> k, stringSerde, stringSerde)
浏览 4提问于2017-01-30得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
