卡夫卡流拓扑结构在生产中的演变
提问于 2018-12-12 06:32:00
我有一个复杂的拓扑结构，包括KStreams、KTables、联接、重键、过滤器、穿插、分支、压缩等等。
所有输入、中间和输出主题都是基于avro的主题。
如何处理拓扑的更改(添加新步骤、新的输入-输入-输出主题)，了解kafka-streams维护内部状态和changelogs，符合以下业务要求：
- 无数据丢失
- 没有数据重复(在一定程度上)
- 没有停机时间
答案是介于使用kafka-streams-application-reset还是创建全新的消费者组(应用程序id)之间吗？
回答 1
Stack Overflow用户
回答已采纳
发布于 2018-12-12 06:49:25
目前，卡夫卡流中没有检查点或保存点类型的概念。
如果您需要更新现有的应用程序，那么使用新的application.id或重置现有的application.id是安全的。
在某些情况下，您需要根据拓扑的变化定义一个新的application.id。
https://cwiki.apache.org/confluence/display/KAFKA/Kafka+Streams+Data+%28Re%29Processing+Scenarios
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/53745289
复制
腾讯云开发者
