问Kafka去重消息

EN

Kafka记录是不可变的，这意味着您无法删除或更新记录。Kafka分区是仅附加的结构。

但如果您使用delete retention policy作为topic，并且这些重复消息具有相同的密钥，则可以通过将delete.retention.ms配置更新为少量来删除重复消息。这称为日志压缩。同样，只有当重复的消息具有相同的键时，这才有效。

如果它们没有相同的密钥，我猜你可以做的是：

删除此主题中的所有记录到内存或data store.

• Identify复制消息并删除它们。删除您的topic.

• Recreate topic.

• Produce
• 消息到您的主题。
• 让您的应用程序再次侦听该主题。

或者你也可以这样做：

• 使用此主题中的所有记录到内存或data store.
• Identify中复制消息，并将唯一消息删除到新主题中。
• 允许您的应用程序侦听新创建的旧主题。

但在执行此过程时，应仔细考虑数据丢失。

您可以使用紧凑主题(cleanup.policy = compact)来减少内存，但使用此配置不能获得唯一记录。