开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >卡夫卡交易生产者与消费者

问卡夫卡交易生产者与消费者
EN

Stack Overflow用户

提问于 2018-08-08 14:45:19

回答 1查看 4.8K关注 0票数 1

卡夫卡为每一条信息生成偏移量。比方说，我正在生成消息5，偏移将从1到5。

但是，在事务性生成器中，例如，我生成了5条消息并提交了，然后生成了5条消息，但是中止了，然后提交了5条消息。

那么，最后提交的5条消息将从6条抵消到10条，还是11条抵消到15条？
如果我不放弃或者不承诺呢。这些信息还会被发布吗？
卡夫卡是如何忽视那些没有实现的补偿的？因为，kafka提交日志是基于偏移的。它是否为事务性使用者使用事务提交日志来提交偏移并返回最后的稳定偏移量？或者，是来自__transaction_state主题来维护偏移量？

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2018-08-08 15:11:37

最后5条消息抵消了11到15。当使用isolation.level=read_committed时，消费者将“跳转”从偏移量6到11。
如果您不提交或中止事务，则事务将在transaction.max.timeout.ms经过之后自动超时(中止)。
随着消息数据，Kafka存储了一堆元数据，并能够识别每条消息是否已提交。由于提交偏移与写入分区是一样的(唯一的区别是它是由Kafka在内部主题__consumer_offsets中自动完成的)，因此它对偏移的工作方式是相同的。通过sendOffsetsToTransaction()添加的已中止或未提交的偏移将自动跳过。

正如您在另一个问题中提到的，我建议您看一看KIP，它为Kafka添加了一次精确的语义。它详细说明了所有这些机制，并将帮助您更好地理解：https://cwiki.apache.org/confluence/display/KAFKA/KIP-98+-+Exactly+Once+Delivery+and+Transactional+Messaging

票数 4

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/51749566

复制

相似问题