如何在KSQL中加入数量不等的持有流的分区,并增加分区?
示例Stream-1具有3个分区,而Stream-2具有2个分区。在这种情况下,我们当然可以增加Stream-1 as 3 join的分区数量。但是我想知道,有没有其他方法可以通过KSQL连接不相等的分区流?
发布于 2019-01-09 05:57:30
不,不幸的是,KStream/KSQL不支持不相等分区主题的连接。
在调用join操作之前,两个主题必须具有相同数量的分区,这是一个前提条件,否则将失败。
你可以在这里阅读更多关于协同分区需求的内容:https://docs.confluent.io/current/ksql/docs/developer-guide/partition-data.html#partition-data-to-enable-joins
为了保证共同分区,可以使用PARTITION_BY子句创建新的流:
CREATE STREAM topic_rekeyed WITH (PARTITIONS=6) AS SELECT * FROM topic PARTITION BY topic_key;https://stackoverflow.com/questions/54099763
复制相似问题