首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    一文撕开Kafka Compact Topic神秘面纱

    欢迎关注微信公众号:大数据从业者 Compact原理 Kafka数据清理策略是由log.cleanup.policy参数决定的,当前支持两种策略:delete(普通主题默认)、compact(系统主题默认...所以,log.cleanup.policy可以设置为delete或compact或delete,compact。本文暂不涉及delete清理策略,只讲述compact清理策略。...Kafka系统主题__consumer_offsets默认清理策略就是compact。 强调一点:compact策略仅对Topic内同时携带key和value的消息有效。...如下图所示,原始数据中K1有三条消息,经过compact处理,只保留K1:V4这一条消息。个人感觉,该过程称为compact并不是很贴切,应该称为update之类的。...欢迎关注公众号:大数据从业者 Compact配置 log.cleanup.policy:清理策略(delete或compact或delete,compact) log.cleaner.enable:

    32910
    领券