腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Kafka
流
-
TimeWindows
、
我有一个关于
TimeWindows
和
Kafka
Streams的问题,有些概念真的让我很困惑。现在,当我使用以下语句加载所有事件时.windowedBy(
TimeWindows
.of(TimeUnit.HOURS.toMillis(1)).until(TimeU
浏览 16
提问于2018-12-13
得票数 0
回答已采纳
1
回答
kafka
本地存储/ changelog中的保留时间
、
我正在使用
Kafka
和
Kafka
流
作为的一部分。在我的
Kafka
应用程序中流动的数据正在通过特定的时间窗口进行聚合和物化:
TimeWindows
<
浏览 3
提问于2019-02-14
得票数 3
回答已采纳
1
回答
如何定义在一天中的特定时间应该提前的时间窗口?
、
例如,我试图使用
Kafka
流
对特定时间范围(24小时)的唯一访问者进行统计,Duration windowSizeDuration = Duration.ofDays(1);但是我找不到任何可用的
流</
浏览 1
提问于2020-07-04
得票数 3
回答已采纳
1
回答
使用
Kafka
Streams按ID和时间连接日志-刷新状态存储失败
、
、
;import org.apache.
kafka
.streams.KafkaStreams;import org.apache.
kafka
.streams.StreamsConfig;import org.apache.
kafk
浏览 0
提问于2019-10-30
得票数 0
2
回答
卡夫卡
流
如何计算水印?
、
Kafka
流
内部计算水印吗?当窗口完成时(即水印通过窗口结束时),是否有可能观察窗口的结果?
浏览 0
提问于2019-02-08
得票数 6
回答已采纳
1
回答
我们可以使用CompletableFutures进行并行
Kafka
流
处理吗
、
、
是否可以使用Java CompletableFutures在
Kafka
stream应用程序中执行并行工作? 我想从1
Kafka
主题中读取,创建两个窗口计数,1分钟,另一个小时,但它们是并行的。我能够让它工作,但是看一下
Kafka
流
文档,因为KafkaStreams为每个分区分配一个任务,并且它不能超过一个线程,我不确定这个代码是否会有预期的效果。completableFutureOfMinute = CompletableFuture.runAsync(() -> { inputStream.gro
浏览 38
提问于2020-07-25
得票数 0
回答已采纳
1
回答
将窗口
kafka
流
中的活动用户数打印到控制台
、
、
、
、
我正在尝试聚合该
流
,以获得开窗
流
中user_id的计数。
流
没有键,因此需要从值中获取user_id,并聚合该窗口中的活动用户计数并将其打印到控制台/api。toString(), value)) .countByKey(
TimeWindows
.ofCannot resolve method 'countByKey(org.apache.<
浏览 2
提问于2018-02-06
得票数 0
1
回答
带窗口的
Kafka
流
拓扑不会触发状态更改
、
我正在构建以下
Kafka
流
拓扑(伪代码):g1 = gK.windowedBy(
TimeWindows
.of("PT1H")).一个
流
(翻滚?)开窗,另一个没有。
流
的两个部分在相同的键上工作(除了窗口中间引入的WindowedKey之外)。当消息数
浏览 5
提问于2020-03-12
得票数 2
回答已采纳
1
回答
Kafka
Streams :获取时间窗口中的事件计数
、
我有数据
流
作为<字符串,string>事件。我想要获得10分钟时间窗口的事件计数,并输出到另一个主题。StreamsBuilder(); .groupByKey() .windowedBy(
TimeWindows
.ofA serializer (key: org.apache.
kafka
.common.serialization.StringSerializer / value: org.
浏览 41
提问于2020-09-18
得票数 0
回答已采纳
1
回答
在
Kafka
流
中设置窗口[跳变,Tumbling..etc]并行性
、
我是写在卡夫卡
流
跳窗口代码,其中minMaxCalculator()计算最小和最大内流,一旦
流
是按键分组。Records.groupByKey().aggregate(new aggrTestInitilizer(), ,
TimeWindows
.ofadvanceBy(TimeUnit.SECONDS.toMillis(1)),aggrMessageSerde,"aggr-test"); 一旦我按键分组,我希望处理为中的所有键并行生成的窗口
浏览 1
提问于2017-11-29
得票数 0
回答已采纳
1
回答
Kafka
Streams分组依据和连接
、
、
我有一个接收记录的
Kafka
流
,我想根据特定字段连接消息。
流
中的消息如下所示: Key: 2099 email: tom@emample.com} 预期输出: key: 2099} 我可以让
流
运行得很好,我只是不确定lamda应该包含什么。> inputStream = builder.stream(INPUT_TOPIC); inp
浏览 9
提问于2019-04-03
得票数 1
回答已采纳
1
回答
kafka
流
windowedBy没有产生预期的结果
、
我在
kafka
流
中做这个简单的窗口聚合:.groupByKey(/* Serde stuff */) Duration.ofSecondsCACHE_MAX_BYTES_BUFFERING_CONFIG更改为0,并将代码转换为0(只添加了suppress步骤:.groupByKey(/* Serde stuff */) .windowedBy(
TimeWindows
.ofSuppressed.
浏览 2
提问于2020-12-31
得票数 1
回答已采纳
1
回答
在创建KTable的同一个应用程序中查询它
、
我有一个
Kafka
应用程序,在这个应用程序中,我从一个主题中读取、进行聚合并在KTable中实现。然后创建一个stream并在流上运行一些逻辑。现在在
流
处理中,我想使用前面提到的KTable中的一些数据。启动
流
应用程序后,如何再次访问KTable
流
?我不想把KTable推向一个新的话题。) .windowedBy(
TimeWindows
浏览 2
提问于2020-07-01
得票数 1
回答已采纳
3
回答
KafkaStreams:获取窗口的最终结果
、
、
是否可以通过抑制中间结果来获得卡夫卡
流
中的。 builder.stream<String,Double>(inputTopic) .windowedBy(
TimeWindows
.offlush state store KSTREAM-AGGREGATE-STATE-STORE-0000000001: java.lang.ClassCastException: org.apache.
ka
浏览 0
提问于2019-01-09
得票数 6
回答已采纳
1
回答
卡夫卡
流
抑制在窗口化后不产生输出
、
、
我正在窗口从
流
环境传入的对象,收集和打印它。使用卡夫卡压制,以避免中间结果。import org.apache.
kafka
.common.serialization.Serdes;import org.apache.
kafka</e
浏览 5
提问于2019-11-05
得票数 3
回答已采纳
1
回答
Kafka
流
WindowStore构建错误- Serdes<String>与Serdes<Object>不兼容
、
我试图使用聚合功能的卡夫卡
流
翻滚窗口。但是,我得到了一个奇怪的构建错误。Grouped.with( MYBEAN_SERDE)) );org.apache.
kafka
浏览 5
提问于2022-03-21
得票数 0
1
回答
Kafka
Consumer无法反序列化具有开始和结束时间的时间窗密钥
、
我有一个
Kafka
Streams应用程序(V2.1.1),它产生的记录,并放入键值格式的输出主题。 key是窗口时间serde,其中我期望到窗口开始/结束时间的key和句柄。Windowed<String>> windowedSerde = Serdes.serdeFrom(windowedSerializer, windowedDeSerializer); 还有一个叫做
kafka
kafka
属性: kafkaConsumerProperties.put(ConsumerConfig.KEY_DESERIALIZ
浏览 63
提问于2019-05-09
得票数 1
回答已采纳
1
回答
卡夫卡
流
中计数操作后的意外键。
我在
kafka
流
中有以下逻辑
流
: .groupByKey() .count(
TimeWindows
.of(3600
浏览 4
提问于2017-10-15
得票数 0
回答已采纳
2
回答
卡夫卡
流
窗口分批
来自火花
流
的背景-掌握卡夫卡
流
。并在该分钟内返回每个用户的最新事件。:30.754Z", "count": 3}, {"user": 1, "timestamp": "2018-05-22T16:56:39.754Z", "count": 4} 我感兴趣的是这将如何在
Kafka
流
中工作,因为似乎每个事件都有一个输出--当我的用例是
浏览 0
提问于2018-05-22
得票数 1
回答已采纳
1
回答
具有自定义值类型和已知状态存储的KStream聚合
我正在尝试对具有字符串类型的键和自定义类型的值的
流
执行聚合,如下所示 stream.groupByKey(Grouped.with(Serdes.String(),barSerde)) .aggregate(Foo::new, (String函数中的状态存储之前,我一直能够获得所需的结果,如下所示 stream.groupByKey(Grouped.with(Serdes.String(),barS
浏览 20
提问于2019-06-12
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
热门
标签
更多标签
云服务器
ICP备案
对象存储
云直播
腾讯会议
活动推荐
运营活动
广告
关闭
领券