首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >Kafka Streams -具有会话大小约束的自定义SessionWindows抑制

Kafka Streams -具有会话大小约束的自定义SessionWindows抑制
EN

Stack Overflow用户
提问于 2020-10-11 06:28:39
回答 1查看 206关注 0票数 2

我目前正在开发一个Kafka Streams解决方案,用于使用SessionWindows检索用户浏览会话。我的拓扑结构如下:

代码语言:javascript
运行
复制
builder
 .stream(...)
 .map(... => (newKey, value))
 .groupByKey(...)
 .windowedBy(SessionWindows.`with`(INACTIVITY_GAP).grace(GRACE))
 .aggregate(... into list of events)
 .suppress(Suppressed.untilWindowCloses(unbounded()))

这个简单的场景对我来说很好用,但是我需要对抑制逻辑进行一些额外的检查。也就是说,我想要强制刷新所有超过给定大小的会话(例如,内部事件超过1000个的所有会话,这些事件都是在不活动间隙中产生的)。我的问题是如何实现这一点?

我知道.suppress()方法不接受Suppressed的任何自定义实现。因此,我正在考虑将.suppress()替换为.transform(),并将我的自定义Transformer替换为内部可以执行抑制逻辑并应用这些额外检查的SessionStore。然而,当涉及到向存储添加/删除条目以及自己实现基本的"untilWindowClosed“抑制时,我遇到了困难:我可能可以通过ProcessorContext.schedule()执行定期刷新,但SessionStore不提供遍历所有键的可能性。

这是一个好的方向吗?是否有其他方法可以向会话添加大小限制?

EN

回答 1

Stack Overflow用户

发布于 2020-11-03 06:17:34

这可能就是你要找的:

org.apache.kafka.streams.kstream.Suppressed#untilTimeLimit org.apache.kafka.streams.kstream.Suppressed.BufferConfig#maxRecords

代码语言:javascript
运行
复制
.suppress(Suppressed.untilTimeLimit(Duration.ofSeconds(WAIT_UNTIL), Suppressed.BufferConfig.maxRecords(1000)))
票数 -2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/64298895

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档