目前,我的Kafka Consumer流媒体应用程序正在手动将偏移量提交到Kafka中,并将enable.auto.commit设置为false。当我尝试重新启动应用程序时,它失败了,抛出以下异常: org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out ofwith no configured reset policy for
我创建了一个简单的Apache光束流管道,它从Kafka读取数据,进行一些处理,并通过调用一些外部服务的API来持久化结果。我希望确保在管道重启或失败期间不会丢失数据,因此我希望在特定doFun执行结束时成功调用接口后,手动将记录偏移量提交给Kafka。在我之前的Kafka经验中,我知道通过使用Kafka Co
100000) // Note: this fetchSize of 100000 might need to be increased if large batches are written to Kafka= null) consumer.close();我在Kafka源码中找到了这个方法。我应该使用它吗?/** * @param request a [[kafka.javaapi.Offset