对于集群中的所有节点，运行相同的生产者代码和使用者代码有什么坏处吗？如果集群中有8个节点(8个消费者、8个kafka代理和8个生产者)，那么集群中会有8个生产者同时运行吗？是否有一种方法可以修改集群，使每次只运行一个生产者？
浏览 0提问于2019-01-08得票数 0
回答已采纳
我从卡夫卡的话题中吸取了德鲁伊的数据。现在我想把我的卡夫卡主题转移到新的卡夫卡集群。在不重复数据和不停机的情况下，有什么可能做到这一点？在两个卡夫卡<
浏览 21提问于2022-05-10得票数 0
我们正在执行kafka集群的迁移(创建新集群并迁移所有主题、消费者、生产者)。我们在旧集群中有模式注册表，并希望将其移动以使用新集群。有没有办法将模式(具有相同的Is )复制到新集群，或者迁移模式注册表的任何其他方法？
浏览 12提问于2020-08-18得票数 0
回答已采纳
我希望将一个4节点的Kafka集群迁移到一个新的集群，每个代理上有大约300 on的数据。问题是我们目前运行的是Cloudera的Kafka (CDK)，我们想运行Apache Kafka。在大多数情况下，CDK与Apache Kafka非常相似，但我正在尝试找出最好的迁移方法。我最初考虑使用MirrorMaker，但据我所知，一旦我们将消费者切换到新的集群，它将重新处理消息，所以我认为这是不可能的。我想知道我们是否可以启动一个新的Apache Kafka集群<
浏览 1提问于2019-10-22得票数 0
你能帮我理解一下Kafka在改变现有集群大小时有多灵活吗？
我正在对Kafka进行调查，以评估它是否适合我们的用例。你能帮我理解一下Kafka在不拆掉集群的情况下向现有集群添加brokers的灵活性吗？这样做的时候有什么需要注意的吗？
浏览 2提问于2019-01-08得票数 0
我正在从ActiveMQ“经典”5.15.4迁移到ActiveMQ Artemis 2.17.0，并观察到性能下降。我测试了一个主题的一个生产者和不同数量的消费者使用这个主题。我正在测量从信息创建到消费者接收消息之间的时间。
测试是在一个由3个节点组成的集群上进行的，每个节点都相互连接。每个代理都嵌入到一个JBoss中。我使用了一个由3个节点组成的集群，因为这是我们当前的生产设置。我对这个设置提出了挑战，因为我们很少有消费者和
浏览 4提问于2021-10-05得票数 3
回答已采纳
1回答
我有一个卡夫卡生产集群，有5个节点和大约500个主题。我需要扩展我的集群以添加2个新节点，而且由于Kafka不提供自动数据重新分区，所以我希望运行随Kafka发行版一起附带的kafka-reassign-partitions.sh，以重新平衡集群中全部7个节点中的所有主题由于集群中已经有大量的生产数据，
运行这个脚本会减慢集群/生产</
浏览 1提问于2016-09-12得票数 6
回答已采纳
我正在尝试用多个生产者和多个消费者来测试我的Kafka集群。我遇到了很多可用的工具和文章，但是所有这些工具和文章都是从一台机器生成负载(生产者)，并类似地从一台机器读取(使用者)。我正在寻找一个工具，它可以跨/生成多个生产者和使用者，并对给定的kafka集群进行负载测试。
作为投入，我们可以给出生产者和消费者的数量。然后，它可以与生产商和消费者(在AWS、Azure或GCP上)生成这些
浏览 15提问于2022-02-09得票数 -1
回答已采纳
我需要在两个不互连的Kafka经纪人之间实现一个主题的简单网关。出于测试目的，我在生产中有一个kerberized化的Kafka集群和一个使用普通身份验证的代理。网关应消费生产集群中的一个topic，并从该topic产生消息到测试broker处的指定topic。如何在具有KafkaClient部分的单个JAAS文件中配置两个不同的客户端？
浏览 10提问于2017-08-08得票数 0
我们使用replicator将主题的子集从prod迁移到dev。我的复制器工作线程指向相同的源和目标模式注册表(生产者和消费者配置)：但是对于<e
浏览 24提问于2021-05-13得票数 0
如果没有，kafka生产者/消费者将如何解决所有可用的代理？
如果是，添加节点后生产者/消费者是否需要重启？
浏览 10提问于2017-07-05得票数 1
回答已采纳
1回答
我认为在引擎盖下看设计可能是不可能的，但我想确认一下:如果消费者和生产者连接到不同的Kafka集群，那么有可能进行Kafka交易吗？这意味着我正在消费的主题和我正在推送的主题是在两个独立的Kafka集群上。
浏览 20提问于2019-04-26得票数 2
回答已采纳
1回答
有一些最佳实践建议在目标集群上运行Mirror Maker。
我想知道为什么会存在这一建议，因为最终所有数据都必须跨越集群之间的边界，而不管它们是在目标上使用还是在源端产生。我可以想象到的一个原因是，Mirror Maker支持多用户，但只有一个生产者--因此，使用多个用户可能会加速使用延迟时间更长的消费数据。如果由于多线程而产生的性能是一个点，那么使用多个生产者(每个使用者一个)来复制数据(使用自定义复制过程)是否有用？有谁知道为什么镜子制造商在所有
浏览 0提问于2019-03-12得票数 2
回答已采纳
2回答
文件夹中的流式文件
、、、
我想把它转移到hadoop集群。
1)在传输日志文件之间是否需要kafka集群/代理，或者是否可以直接从windows机器传输到hadoop linux机器？我将在hadoop机器上运行一个消费者？
浏览 4提问于2017-12-26得票数 0
1回答
我有两个kafka集群，版本分别是0.8.2.1和0.10.1。
我想从0.8.2.1消费一些事件，并向0.10.1产生其他事件。我一直在阅读关于向后兼容性的文章，并了解到客户端是向前兼容的。
浏览 12提问于2017-03-14得票数 1
我真的不知道如何对这两个指标进行基准测试并设置我的集群。我没有任何集群监控工具可用，只能在启动生产者和消费者时查看终端上的统计数据。谁能告诉我，在数据流进行的过程中，我可以使用哪个脚本来查看消费端的相关统计数据？
浏览 1提问于2020-07-06得票数 0
我说的对吗？
据我所见，为了具有故障转移的能力，我需要设置两个单独的集群，并使用镜像制造者来跨区域同步这两个主题。但这意味着我需要在我的应用程序中构建逻辑，以便它们将事件发布到正确的集群中--我是否正确地理解了它？我是否可以设置Kafka，这样我就不需要这样做了，我只需要连接到本地集群并读取/写入它，让集群负责将事件路由到哪里
浏览 1提问于2020-05-03得票数 0
有多个代码示例可用(其中之一是)，其中实现了KafkaProducer和KafkaConsumers，并且可以单独启动。
我在试着找到启动代理的代码？
浏览 3提问于2018-08-03得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
