腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(1795)
视频
沙龙
1
回答
Kafka
Streams
:
刷新
中间
窗口
结果
,
因为
提交
间隔
和
窗口
时间
不同步
java
、
apache-kafka
、
apache-kafka-streams
、
windowing
kafka
Streams
配置: threads = 1;ktableCommitInterval= 10000; ktableMemory=72000000问题:
提交
间隔
设置为10秒。高速缓存大小被设置为72MB。数据以字节为单位。状态存储已启用缓存。文档指出,
kafka
streams
将数据推送到下游的操作语义取决于缓存大小或
提交
间隔
,无论首先发生什么。但根据实验,
提交
立即发生了两
浏览 30
提问于2020-01-21
得票数 0
1
回答
使用我自己的Cassandra驱动程序编写聚合
结果
apache-kafka-streams
TimeWindows.of(TimeUnit.MINUTES.toMillis(60)), "HourlyPageViewsAgg")我现在的问题有两个: 考虑到我有自己的Cassandra驱动程序,我如何编写聚合到Cassandra的5分钟
中间
结果
?阅读可以看出,如果不使用低级别的API,它可能是无法避免的,
因为
这似
浏览 2
提问于2017-09-07
得票数 0
2
回答
Flink
间隔
加入DataStream与KafkaSource删除所有记录
apache-flink
、
flink-streaming
电流配置 应用程序运行在应用程序中的Flink 1.14.4上,数据流(由长链操作符产生)
间隔
连接到一个
Kafka
源。事件时戳每个分区严格上升。默认情况下,
Kafka
源(
间隔
连接的右侧)比其他数据流(
kafka
> source )每1分钟生成一次数据,因此它的分区最多可被视为空闲59秒。区间连接操作符的输出应该是(并且曾经)两个传入流的最小值(卡夫卡
和
DS),但是对于KafkaSource,它在一定
时间
之后被设置为最大。因此,数据流中的所有记录都被删除,<em
浏览 12
提问于2022-06-17
得票数 0
回答已采纳
1
回答
Kafka
Streams
窗口
存储保留重复项
apache-kafka-streams
、
rocksdb
https://
kafka
.apache.org/21/javadoc/org/apache/
kafka
/
streams
/state/Stores.html#persistentWindowStore-java.lang.String-java.time.Duration-java.time.Duration-boolean- 挖掘
streams
内部代码似乎是用来设置一些序列号的?
浏览 26
提问于2019-04-10
得票数 5
2
回答
Kafka
Streams
:在
窗口
到期时处理流中事件的老化
apache-kafka-streams
我目前正在使用
kafka
streams
来整理
窗口
中的相关事件。如果所有相关事件没有在一个
窗口
内到达,在
Kafka
streams
中是否有一种方法可以让我们获得过期事件的句柄。下面是一些例子GroupID: g1事件到达
时间
: E1,10am;E2 10:01 are
和
E3 会话
窗口
的非活动持续
时间
为5分钟。
结果
:所有事件都整理成功。示例2: 不活动状态持续
时间
为5 m
浏览 1
提问于2017-03-31
得票数 3
1
回答
卡夫卡流在处理
时间
窗口
中的排序
apache-kafka
、
apache-kafka-streams
、
stream-processing
我想知道是否有任何方法可以使用
Kafka
流、DSL或处理器API对
窗口
中的记录进行排序。然后,我们使用这个重新分区的流,并将消耗的记录存储在本地状态存储中,
窗口
为10分钟。特定用户的所有单击总是在同一个分区中,但顺序不受保护,
因为
最初的主题有10个分区。我理解
Kafka
流的
窗口
模型,当新记录出现时,
时间
会提前,但我需要这个
窗口
使用处理
时间
,而不是事件
时间
,然后当
窗口
过期时,我需要能够对缓冲事件进行排
浏览 2
提问于2018-03-13
得票数 7
1
回答
使用
Kafka
流的去重叠
apache-kafka
、
duplicates
、
apache-kafka-streams
我想在我的
kafka
-
streams
应用程序中消除重复,它使用状态存储,并使用这个非常好的例子: 我的第二个问题这个
时间
间隔
是否相关,应该
浏览 4
提问于2020-08-01
得票数 1
4
回答
同步来自多个数据源的数据
apache-kafka
、
synchronization
、
iot
、
distributed-system
、
stream-processing
我们正处于设计阶段,目前的系统设计如下: 为了将一组事件分类为异常,必须在同一
时间
窗口
中发生事件。例如,有三个数据源将各自的事件推入
Kafka
主题,但由
浏览 0
提问于2019-05-27
得票数 8
回答已采纳
1
回答
卡夫卡流抑制在
窗口
化后不产生输出
apache-kafka
、
java-stream
、
apache-kafka-streams
我正在
窗口
从流环境传入的对象,收集
和
打印它。使用卡夫卡压制,以避免
中间
结果
。import com.savk.workout.
kafka
.
streams
.kafkastr
浏览 5
提问于2019-11-05
得票数 3
回答已采纳
1
回答
使用groupByKey/windowedBy/count对
Kafka
流进行单元测试
apache-kafka
、
apache-kafka-streams
key1", json, now.plusMillis(2000L).toEpochMilli())); 然后我试着比较
结果
浏览 2
提问于2020-05-29
得票数 2
1
回答
卡夫卡流中计数操作后的意外键。
apache-kafka-streams
我在
kafka
流中有以下逻辑流: .foreach((k, v) -> print(k.window().start())); 传递给count方法的参数与上面显示的相同,因此,它应该将键聚合到(逻辑)小时
窗口
中为了验证这一点,我在foreach调用中打印
窗口
启动
时间
(或者至少这是我所期望的)。我的COMMIT_INTERVAL_MS_C
浏览 4
提问于2017-10-15
得票数 0
回答已采纳
2
回答
理解
Kafka
流groupBy与
窗口
java
、
apache-kafka
、
apache-kafka-streams
、
stream-processing
我无法理解
kafka
流中的groupBy/groupById
和
窗口
的概念。我的目标是在一段
时间
内(例如5秒)对流数据进行聚合。{"value":0,"time":1533875665509}{"value":8,"time":1533875669512}
时间
以毫秒为单位在这里,我的
时间
戳在
浏览 0
提问于2018-08-10
得票数 7
0
回答
使用
Kafka
Streams
对数据进行
窗口
化并同时处理每个
窗口
java
、
apache-kafka
、
apache-kafka-streams
、
windowing
我想实现的目的是按用户分组我从
Kafka
主题收到的一些消息,并对它们进行
窗口
,以便聚合我在(5分钟)
窗口
中收到的消息。然后,我想收集每个
窗口
中的所有聚合,以便立即处理它们,并将它们添加到我在5分钟
间隔
内收到的所有消息的报告中。
streams
.start();
浏览 0
提问于2018-07-19
得票数 8
回答已采纳
1
回答
闪烁翻滚
窗口
延迟使用AscendingTimestampExtractor触发getResult
apache-flink
、
flink-streaming
我使用的是翻滚
窗口
(5分钟)
和
AscendingTimestampExtractor,
因为
我的源码来自
Kafka
。但是
窗口
的运行
时间
总是超过5分钟。有没有人能建议一下?
浏览 13
提问于2020-02-25
得票数 0
1
回答
受到抑制的
Kafka
流聚合:缓存大小对聚合
结果
的影响
apache-kafka
、
apache-kafka-streams
、
spring-cloud-stream
我使用
kafka
流组件在30分钟的滑动
窗口
上构建聚合(
和
),宽限期为2分钟。我正在按10,000个
时间
序列(组)进行处理。聚合使用禁用日志记录的持久状态存储。若要在聚合
间隔
结束时仅输出最终
结果
,我将使用被抑制的运算符。我的问题: 如何正确调整记录缓存的大小以确保正确计算所有
浏览 3
提问于2021-04-28
得票数 1
1
回答
Kafka
流:
窗口
时对旧数据的再处理
apache-kafka
、
apache-kafka-streams
有一个
Kafka
流应用程序,它通过流连接执行
窗口
(使用原始事件
时间
,而不是挂钟
时间
),例如1天。如果打开这个拓扑,并从一开始就重新处理数据(就像在lambda风格的体系结构中那样),那么这个
窗口
会将旧数据保存在那里吗?使用
Kafka
Streams
2.5.0进行更新
浏览 6
提问于2022-01-09
得票数 0
1
回答
org.apache.
kafka
.common.errors.RecordTooLargeException
apache-kafka
、
kafka-consumer-api
、
kafka-producer-api
、
apache-kafka-streams
(JsonDeserializer.java:34) at org.apache.
kafka
.
streams
.state.internals.NamedCache.flush(NamedCache.java:131) at org.apache.
kafka
.
streams
.state.internals.Name
浏览 2
提问于2017-04-28
得票数 0
回答已采纳
2
回答
反弹跳
kafka
事件
apache-kafka
、
apache-kafka-streams
、
debounce
我计划建立一个MySQL to
Kafka
流程,最终目标是安排一个流程,根据更改后的数据重新计算mongoDB文档。 这可能涉及直接修补mongoDB文档,或者运行将重新创建整个文档的进程。有没有办法“揭穿”
Kafka
流?例如,对于
Kafka
消费者,有没有一个定义良好的模式可以用来实现我想要的逻辑?
浏览 8
提问于2021-07-06
得票数 0
1
回答
卡夫卡流应用什么时候清理它的州立商店?
apache-kafka
、
apache-kafka-streams
我有一个卡夫卡流应用程序,目前只是加入两个KStreams与一个5分钟的
窗口
,并将加入
结果
的另一个topic。我原以为磁盘空间的利用率是稳定的。但是,情况似乎并非如此。如果我在
kafka
streams
应用程序集群中的一个应用程序失败了
浏览 2
提问于2019-08-27
得票数 1
回答已采纳
1
回答
在php登录后每小时显示一次弹出表单
javascript
、
php
、
html
、
mysql
在我的应用程序中,我想要一个div弹出
窗口
后,用户登录,该弹出
窗口
将显示每小时的登录
时间
。div弹出
窗口
将显示一个文本框并
提交
表单,如果用户在第二个div弹出
窗口
之前没有
提交
任何数据,则应自动
提交
表单,并将数据存储到数据库中。现在的问题是如何显示div弹出每小时,如果我使用倒置在javascript其唯一的客户端
和
刷新
的
间隔
值将被更改,所以javascript将不会used.second选项是使用会
浏览 2
提问于2015-01-06
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Kafka streams概览
重温 Apache Kafka
关于Spark Streaming 技术要点的一些汇总
Kafka Streams与Quarkus:实时处理事件
Heron:来自Twitter的新一代流处理引擎应用篇
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券