日志 v2 版本的压缩,优化内容:
Kafka 日志压缩类似于 Redis 持久化的 RDB 模式,假设 Kafka 崩溃,通过日志文件恢复最终状态时,Kafka 只需要关心最新状态,并不关心每一时刻的状态。
Kafka 日志压缩主要是针对两种数据:
日志压缩是对分区进行的。在 Kafka 的 log.dirs
路径下有文件 cleaner-offset-checkpoint
文件,该文件中包含所有分区已清理数据偏移量信息。
对于每个分区的日志分段,可以将其分成两个部分:
log.dirs/cleaner-offset-checkpoint
文件中。