我有一个flink作业,它通过KafkaSource被配置为侦听一个正则表达式的主题,类似于: val topicPattern = "^(topic1|topic2|topic3)$" Kafka的消费者开始位置配置被设置为startFromLatest,如下所示: val myConsumer = new FlinkKafkaConsumer<>(topicPattern, someProperties);
myConsumer.setStartFromLatest(); 我们通过配
我是Flink和Kafka的新手,有一些用Scala编写的数据聚合作业,这些作业在Apache Flink中运行,这些作业消耗Kafka中的数据,执行聚合并将结果返回给Kafka。我需要的作业,以消耗任何新的Kafka主题的数据,而作业正在运行,这是匹配的模式。enable.auto.commit”, “true”);
val consumer = new FlinkKafkaCon