这是一个基于Armando Ballaci提供的答案的"Where do zookeeper store Kafka cluster and related information?“的后续问题。现在很明显,消费者偏移量存储在Kafka集群中的一个名为__consumer_offsets的特殊主题中。很好,我只是想知道这些偏移量的检索是如何工作的。主题不像RDBS,我们可以在RDBS上根据某个谓词查询任意数据。例如,如果数据
这里是 for public ConsumerRecords<K,V> poll(long timeout)
获取使用订阅/分配API之一指定的主题或分区的数据。在轮询数据之前没有订阅任何主题或分区是错误的。在每次投票中,使用者将尝试使用最后消耗的偏移量作为起始偏移量并按顺序获取。最后消耗的偏移量可以通过查找(TopicPartition,long)手动设置,也可以自动设置为已订阅的分区列表的
为什么actual topic中的偏移量与__consumer_offset中相同topic中的偏移量不同?PFB偏移位置以及使用的命令。_consumer_offsets_13[root@node1 __consumer_offsets-13]# /opt/kafka_2.11-0.10.1.1/bin/kafka-run-class.sh k