我目前正在开发一个Kafka Streams解决方案,用于使用SessionWindows检索用户浏览会话。我的拓扑结构如下:
builder
.stream(...)
.map(... => (newKey, value))
.groupByKey(...)
.windowedBy(SessionWindows.`with`(INACTIVITY_GAP).grace(GRACE))
.aggregate(... into list of events)
.suppress(Suppressed.untilWindowCloses(unbounded()))这个简单的场景对我来说很好用,但是我需要对抑制逻辑进行一些额外的检查。也就是说,我想要强制刷新所有超过给定大小的会话(例如,内部事件超过1000个的所有会话,这些事件都是在不活动间隙中产生的)。我的问题是如何实现这一点?
我知道.suppress()方法不接受Suppressed的任何自定义实现。因此,我正在考虑将.suppress()替换为.transform(),并将我的自定义Transformer替换为内部可以执行抑制逻辑并应用这些额外检查的SessionStore。然而,当涉及到向存储添加/删除条目以及自己实现基本的"untilWindowClosed“抑制时,我遇到了困难:我可能可以通过ProcessorContext.schedule()执行定期刷新,但SessionStore不提供遍历所有键的可能性。
这是一个好的方向吗?是否有其他方法可以向会话添加大小限制?
发布于 2020-11-03 06:17:34
这可能就是你要找的:
org.apache.kafka.streams.kstream.Suppressed#untilTimeLimit org.apache.kafka.streams.kstream.Suppressed.BufferConfig#maxRecords
.suppress(Suppressed.untilTimeLimit(Duration.ofSeconds(WAIT_UNTIL), Suppressed.BufferConfig.maxRecords(1000)))https://stackoverflow.com/questions/64298895
复制相似问题