我们在集成Spark-Kafka streams时遇到了性能问题。项目设置:我们使用3个分区的Kafka主题,每个分区产生3000条消息,并在Spark direct streaming中进行处理。我们面临的问题是:在处理端,我们使用Spark直接流方法来处理相同的内容。如以下文档所示。Spark应该创建与主题中的分区数量相同的并行直接流
它只为kafka流DSL提供数据/主题管理。有人能为kafka流的处理器API共享任何相同类型的数据管理链接吗?我对处理器API的用户和内部主题管理特别感兴趣。TopologyBuilder builder = new TopologyBuilder();
// add the source processor node that takes Kafka topic"source-topic" as