我在C#中工作，拥有以下内容： consumer.Subscribe( new string[] {"topic1", "topic2"});
var cr = consumer.Consume();console.Write($"key {cr.Message.Key}\r\nvalue {cr.Message.Value}"); 当我正在收听多个主题时，如何获取特定消息的
浏览 42提问于2021-09-03得票数 1
1回答
如何阅读来自Kafka topic on demand的消息。我有主题名称，offsetId，PartitionID，使用这三个参数，我如何从Kafka主题中检索特定的消息。可以使用Spring Kafka吗？我使用的是spring boot 2.2.4.RELEASE
浏览 0提问于2020-11-10得票数 0
1回答
如果我对特定应用程序的EMEA、APAC和NYC实例进行了全局配置，我将考虑区域Kafka代理，所有这些都是从一个中心的单一主题中复制出来的，它们都用于输入，而另一个则用于输出数据。不过，我想要的是，对于我的应用程序的每个区域实例，都要与它所在区域的代理进行通信--就像纽约应用程序与伦敦经纪人对话会增加很多延迟一样。
有没有办法用卡夫卡的配置来做到这一点？正如我所理解的，如果在三个
浏览 0提问于2019-03-19得票数 1
回答已采纳
我可以在kafka中使用线程向单个主题发送消息吗？我开发了一个kafka生产者在春季启动发送消息到一个kafka主题，我需要知道是否有可能创建多个线程发送多个消息到一个主题。例如:在一个生产者中创建三个线程，同时将三个不同的消息从每个线程发送到单个kafka主题</e
浏览 1提问于2019-04-04得票数 2
我有点搞不懂这在概念上是如何运作的。
kafka流如何保证由kafka broker分配给它的分区与分配给其他主题的分区匹配？好像需要协调一下吗？而且，卡夫卡流总是从一开始就阅读压缩的主题，还是从最新的偏移量中读取？一旦它从压缩的主题中读取消息，它是否提交偏移量？
浏览 2提问于2020-07-31得票数 0
回答已采纳
我正在使用星火流从卡夫卡主题列表中阅读。我正在遵循这个的官方API。我使用的方法是： ss
浏览 3提问于2017-04-05得票数 3
2回答
我有一个spring处理器模块，带有errorChannel和outputChannel的http出站网关.使用HTTP200的任何消息都会发送到outputChannel，其余消息都在failureChannel中。现在，http处理器模块用TopicX的kafka出站适配器连接到Kafka-Sink .TopicX只接收HTTP200个消息以供进一步处理。现在，我们需要将failureChannel中的<
浏览 5提问于2017-03-28得票数 2
回答已采纳
我有一个使用案例，在这个案例中，我必须在spark structured streaming中订阅多个kafka主题。然后，我必须解析每条消息，并从中形成一个增量湖表。我已经使解析器和消息(以xml的形式)正确地解析并形成了delta-lake表。然而，到目前为止，我只订阅了一个主题。我想订阅多个主题，根据主题，它应该转到专门为这个特定主题制作<
浏览 41提问于2019-06-24得票数 1
回答已采纳
3回答
用于消息处理的多个节点
、、、、
我们在Kubernetes上部署了一个spring引导应用程序来处理消息:它从Kafka主题中读取，然后执行一些映射，最后，它写到Kafka主题。为了获得更高的性能，我们需要更快地处理消息，因此我们引入了这个春季引导应用程序的多个节点。
消息包含一个状态。是否有任何解决方案来保持消息的
浏览 6提问于2020-04-24得票数 0
我需要为所有消费者发送消息，但在检测谁应该收到此消息之前，如何使用Kafka执行此操作？
我是否应该使用Kafks stream来过滤数据，然后发送给消费者？据我所知，每个消费者都应该被添加到唯一的消费群体中，但如何实时检测，谁必须收到消息？
浏览 19提问于2020-05-13得票数 2
回答已采纳
1回答
我正在进行一个项目，在这个项目中，生产者可以在运行时(而不是固定数量)出现并发布消息。目前，他们发布到在卡夫卡代理中运行时创建的唯一主题(topic.uuid)，我在另一端有一个用户，它订阅了主题。*模式和订阅所有主题，并且随着新主题的到来而重新平衡in.Is它是正确的方法吗？现在，我感到困惑的是，我们应该有一个具有多个分区的主题</em
浏览 1提问于2016-11-19得票数 6
1回答
我想知道简单的主题和分区topic.As之间的区别根据我的理解平衡负载，主题已经被分区，每个消息将有偏移量和消费者将确认，以确保以前的消息已经consumed.In的情况下没有分区和消费者不匹配的再平衡由卡夫卡做它有效地管理如果创建了多个主题而不是分区，是否会影响操作效率。
浏览 3提问于2015-01-07得票数 13
回答已采纳
是否有一种方法可以根据键配置一个分区，并使用内置于汇合的MQTT代理的生产者？谢谢各位。
浏览 2提问于2021-06-14得票数 0
回答已采纳
我正在创建两个apache camel (blueprint XML) kafka项目，一个是kafka-producer，它接受请求并将其存储在kafka服务器中，另一个是kafka-consumer，它从kafka服务器获取消息并处理它们。这种设置对于单一主题和单一使用者来说工作得很好。但是，如何在同一个kafka topic中创建独立的消费群？如何<
浏览 28提问于2020-05-03得票数 1
1回答
我目前正在使用VoltDB kafka importer从多个kafka主题导入数据。我正面临着装载机的性能问题。我阅读了VoltDB文档，但无法找到如何微调进口商。6 nodes of VoltDB cluster and Kafka importers on the nodes with custom procedure for inse
浏览 1提问于2018-09-07得票数 1
我正在尝试从不同集群的多个主题中获取一些关于spark结构化流媒体和阅读的基本信息。我找到了一些教程，这些教程展示了如何从同一集群上的多个kafka主题中拉出数据，但如果这些主题位于不同的集群中呢？如何将多个kafka集群中的主题读入spark？
浏览 14提问于2018-07-18得票数 0
回答已采纳
1回答
中频交易系统的干扰器与无功结构
、、、、
我正在努力为我正在研究的中频交易系统选择一个合适的架构。目前，我从Web或Rest接收消息，并在那里处理它们。有时它包括IO操作(即额外的rest请求)，因此它的工作非常慢，我想所有其他消息都会在Web套接字客户端的实现中得到缓冲。这种天真的方法看起来没有很好的可伸缩性。我一直在阅读成熟的体系结构来处理交易消息，目前，我的选择已经缩小到Disru
浏览 2提问于2018-03-04得票数 4
我们需要从Kafka中提取数据并写入AWS s3。Kafka由单独的部门管理，我们只能访问特定的主题。根据Kafka文档，看起来Kafka Connect对我来说是一个简单的解决方案，因为我没有任何自定义的消息处理逻辑。通常，当我们运行Kafka Consumer时，我们可以使用相同的使用者组运行多个JVM，以实现可伸缩性。<e
浏览 2提问于2018-03-08得票数 1
1回答
对于使用Kafka / Redis的事件驱动架构，当我们为事件创建主题/流时，应该遵循哪些最佳实践。
让我们考虑一下在线订单处理工作流。我看到一些博客说创建主题/流，如order-created-events，order-deleted-events等。但我的问题是，当我们将其拆分成多个主题时，如何保证消息的顺序。订单已删除-假设只有5-10%
浏览 3提问于2020-04-16得票数 0
4回答
主题通常驻留在broker (服务器进程)中，并且具有多个分区，但它能跨越多个代理或节点(计算机)吗？
也就是说，假设一个主题被分为两个分区，分区-1和分区-2。分区-1是否属于代理-1和分区-2的相同主题属于不同的代理-2或完全不同的节点？
浏览 0提问于2016-07-07得票数 13
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
