2回答
我需要在KafkaStream中接收一条记录，我根据逻辑将这一条记录划分为n条记录。这n个记录被推送到另一个流。这n个记录被并行处理。但我需要知道n个作业的完成情况，这样我才能发回响应。
浏览 1提问于2020-02-20得票数 3
我们有一个主题，其中只有一个分区，并且在一个消费者组中只有一个消费者。消费者已被停用了一个月。与此同时，制作人正在向主题发送消息。当我们停止并再次启动消费者时，消费者可以选择新的消息，但以前发送的所有</em
浏览 3提问于2017-03-02得票数 12
动态路由是否等同于spring云流中的动态目标绑定？每只兔子动态路由所有生产者发布到同一队列，生产者配置routingKeyExpression，消费者监听器配置bindingRoutingKey，exchange将消息路由到匹配的bindingKey。这可以使用流桥接或BinderAwareChannelResolver来完成吗？如果不是，spring如何处理这一点，以防有人想要从兔转到其他经纪人。
浏览 5提问于2021-05-14得票数 0
我们在Google云平台上使用Bitnami Kafka 0.8.2 + spark 1.5.2。我们的spark streaming作业(消费者)没有接收到发送到特定主题的所有消息。它会收到50条消息中的1条(已在作业流中添加日志并已标识)。我们在kafka日志中没有看到任何错误。无法从kafka层进一步调试。控制台使用者显示在控制台中接收到输入主题。它没有达到spark-kafka集成流。任何关于如何</
浏览 1提问于2015-12-24得票数 0
1回答
我正在使用流侦听器来使用来自amazon kinesis流的消息。@StreamListener(Processor.Input) //process
当有消费者群体时，它将如何表现。消费者组中的
浏览 0提问于2018-03-13得票数 2
回答已采纳
1回答
我希望了解使用编排的Saga模式是如何工作的。例如。
我接收存储在队列或事件流集线器中http请求，如Kafka。然后，单个消费者消费消息并执行一系列同步幂等步骤，就像传奇编排机制一样。如果其中一个步骤
浏览 11提问于2021-04-18得票数 2
我读了卡夫卡的文件，还不知道如何消费一个主题并行？围绕同一主题创建多个分区，并为一个客户创建一个分区，因此，一个生产者必须对这些分区产生相同的分区，而每个客户组中的每个客户都必须生成相同的分区，对吗？
浏览 0提问于2014-09-01得票数 13
回答已采纳
我在kafka上的工作并不多，但我想在GCE中构建数据管道。所以我们想知道Kafka vs PUB/Sub。基本上，我想知道在Kafka和Pub/sub中是如何维护消息一致性、消息可用性和消息可靠性的
谢谢
浏览 0提问于2016-07-25得票数 101
如果您的使用者少于分区，这是否仅仅意味着您不会使用给定主题上的所有消息？
在云环境中，您应该如何跟踪有多少消费者正在运行，以及有多少消费者指向给定的topic#partition？如果给定的topic#partition上有多个消费者，该怎么办？
浏览 1提问于2016-12-01得票数 27
1回答
消费者应用程序中的每个“消费”(假设我有两个主题要听)方法将使用@StreamListener注释进行设置，并将链接到特定的主题。这样做的目的是使用来自少数主题的消息，让我们假设所有消息都具有相同的优先级，操作它们并将它们传递给相关的microServices。在这种配置中</em
浏览 1提问于2016-11-29得票数 2
回答已采纳
在讨论卡夫卡和RabbitMQ的区别时，“哑巴经纪人”和“智能经纪人”在与消费者的互动中不断出现。卡夫卡被描述为有一个愚蠢的经纪人，而RabbitMQ据说有一个聪明的经纪人/愚蠢的消费者模型。
浏览 5提问于2017-08-28得票数 11
1回答
我的有效负载/消息如下所示： "eventType":"EntityCreated", "properties": {如何解决这一问题？我想我也许可以使用事件源和某种自动机制，因此系统将不得不查询api以获得“eventId”，而不是通过消
浏览 0提问于2022-02-18得票数 1
我对卡夫卡很陌生，所以如果我听起来很蠢，就道歉，但我现在所理解的是.消息流可以定义为一个主题，就像一个类别。每个主题被划分为一个或多个分区(每个分区可以有多个副本)。所以他们的行为是平行的
生产者可以在主题中选择要分配给哪个分区的消息。这可以以循环的方式完成，只需平衡负载，也可以根据某些语义分区函数(例如，基于消息中的某个键)来完成。这是否意味着在消费时，我能够从特定分区中选择消息偏移量？在运行多个分区时，是否可以
浏览 1提问于2013-08-13得票数 31
2回答
似乎我们所有的消费者都需要信息的不同方面。这是否意味着消息格式最终会成为每个分布式系统所需要的一切的统一体？
在不了解所有消费者的情况下，我如何知道如何在信息中添加内容？是否有任何最佳实践可以帮助确定我是否需要与我的表看起来很接近的消息，还是更高级别的消息？似乎每当我定义一条消息时，它都与我的数据库模式紧密
浏览 0提问于2018-08-23得票数 0
回答已采纳
2回答
我有多个线程需要使用来自TCP流的数据。我希望在共享内存中使用循环缓冲区/队列从TCP套接字中读取。TCP接收将直接写入循环队列。消费者将从队列中读出信息。从TCP套接字中只读取1条逻辑消息是否可能/有效？如果没有，并且我阅读了超过1条消息，我将不得不将残差从这里复制到->next。
真的有可能实现无锁队列吗？我知道有原子操作，但这些操作也很昂贵。因为所有CPU缓存都需
浏览 3提问于2012-07-02得票数 8
回答已采纳
1回答
我们正在考虑使用redis流作为集群范围内的消息传递总线，其中集群中的每个节点都有一个唯一的id。这样做的想法是，每个节点在生成时都会创建一个具有唯一id的使用者组，该用户组具有一个中央redis流，以保证集群中的每个节点都得到每个消息的副本。在编排的环境中，集群节点将被动态生成和删除，每个节点都有一个唯一的id。随着时间的推移，我可以看到，有100，甚至1000的老/未使用的消费者群体都订阅了相同的红潮。消费</e
浏览 10提问于2021-12-10得票数 1
回答已采纳
1回答
我有一个消费转换-生产的应用程序与准确-一次在卡夫卡。(事务性)生成阶段在随后使用的同一主题(transactionally=read_committed)上生成新消息。现在，我只有一个民意调查声明到位，每个消费转换-生产-轮。当我运行我的测试用例时，有时可能会有其他生产者在我的生产者的事务提交之前(清晰地)发送的消息。问题
我是否必须进行多次投票，直到一次投票返回0条记录，然后告诉我，该分区
浏览 0提问于2018-11-08得票数 0
回答已采纳
1回答
卡夫卡引发的NiFi工作流瓶颈
、、、、
我正在Apache NiFi中创建一个数据摄取工作流，使用Kafka作为缓冲系统。我设置了一个3节点集群，运行相同的工作流，每个节点有4个核心。我们的发布和消费Kafka处理器在所有三个节点上运行，并且我们的Kafka主题有三个代理的3个分区。
有谁知道是什么导致了这种不一致，以及我可以做些什么来缓解它并加快工作流程？
浏览 16提问于2017-08-15得票数 1
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
