我们正在使用低级处理器API开发一个KafkaStreams应用程序。 根据Kafka上的文档,所有的线程和并行性都是由Stream线程和流任务处理的。使用主题上的分区,并行性也是可扩展的。这意味着使用KafkaStreams API主要用于消费主题中的数据,而不是用于实际处理。实际处理将在Kafka流线程的初始数据消耗之后调用的新线程中进行。拓扑中的示例处理器: public class Processor implements
如果我有一个Kafka流应用程序无法发布到主题(因为主题不存在),它是提交消费者偏移量并继续,还是在相同的消息上循环,直到它可以解析输出主题?尝试发布到主题时的错误示例: Error while fetching metadata with correlation id 80 : {super.cool.test.topic=U
我是第一次接触Kafka,正在尝试验证我的设计。下面是我所拥有的。 我有一个生产者发布到一个主题,并有一堆容器(我的web应用程序部署在那里),其中一个消费者在每个容器上运行。这些消费者不在消费者组中,并且独立地消费消息。每个使用者都应该阅读该主题中的所有消息。例如,假设有3条关于主题的消息- m0,m1,m2,那么consumer1 to consumerN应该独立地读取m0,m1,m2。每个<e