Kafka -消费者完整数据更新
Kafka -消费者完整数据更新
提问于 2017-02-02 19:03:22
由于许多原因，消费者需要执行完整的数据刷新，这可能是由于数据故障或新的消费者加入。
我想知道，当包含完整数据的初始偏移量在保留期过后被删除时，消费者如何执行完整数据刷新？随后的偏移量2、3、4等仅具有增量变化。如果没有第一个偏移量，数据将不完整。
谢谢
回答 1
Stack Overflow用户
回答已采纳
发布于 2017-02-03 01:07:42
井。它不能。您需要增加保留时间，以避免从一开始就删除此数据。
然而，如果你有“增量更新”，最好不要将这些更新存储到Kafka中，而是将这些更新应用于日期并存储一个新版本，即存储A1、A2、A3 ( A1 = A，A2 =A+增量-1-A等)，而不是A，增量-1-A，增量-2-A。此外，您可以将主题cleanup.policy从“保留”更改为“压缩”--这确保Kafka永远不会删除数据的最新版本(每个键)。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/42000514
复制相关文章
相似问题
腾讯云开发者
