腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(4229)
视频
沙龙
1
回答
Kafka
Streams
Rocksdb
保留
未
使用
窗口
函数
删除
旧
数据
apache-kafka-streams
、
rocksdb
我正在运行一个带有
窗口
函数
的
Kafka
streams
应用程序。但是运行24小时后,本地磁盘
使用
量从5G增加到20G,并且还在不断增加。从我的谷歌信息来看,一旦我引入了windowedBy,它应该会自动
删除
旧
数据
。从磁盘上看,执行repartition-03任务的所有计算机的磁盘
使用
率都很高,似乎从未
删除
过
旧
数据
,而运行repartition-14任务的计算机始终处于磁盘
使
浏览 24
提问于2019-09-20
得票数 1
回答已采纳
1
回答
当您
使用
应用程序重置工具时,
Kafka
状态存储会发生什么?
apache-kafka
、
apache-kafka-streams
当您运行
Kafka
streams
应用程序重置工具以将应用程序重置为特定的时间戳(例如T-n)时,状态存储会发生什么?文档内容为:“内部主题:
删除
内部主题(这会自动
删除
任何已提交的偏移量)”(内部主题在执行状态存储的changelog主题时由
Kafka
Streams
应用程序在内部
使用
) 这是否意味着我丢失了状态存储/
RocksDB
的状态,就像在T-n时一样?例如,假设我在该时间戳处理状态存储上的一个“会话
窗口
”。看起来我会
浏览 13
提问于2020-02-25
得票数 1
回答已采纳
1
回答
如何识别
RocksDb
和
数据
段
apache-kafka-streams
在下面的文章中,
Kafka
Streams
被告知,如果它们
使用
窗口
,'
rocksdb
‘将为
窗口
保留
创建一个段。The second difference is about
RocksDB
instances: instead of using a old seg
浏览 0
提问于2019-02-19
得票数 1
1
回答
KTable与本地存储的区别
apache-kafka
、
apache-kafka-streams
如我所想,KTable -带有compaction
删除
策略的简单
kafka
主题。此外,如果为KTable启用了日志记录,则还会有changelog,然后,
删除
策略为compaction,delete。我读过这个:,但一些细节对我来说仍然不清楚。特别是当我们可以禁用StreamCache (而不是RockDB缓存),并且
浏览 2
提问于2018-09-25
得票数 19
回答已采纳
1
回答
Kafka
stream -为changelog定义
保留
策略
apache-kafka
、
apache-kafka-streams
我
使用
Kafka
Streams
进行TimeWindow的一些聚合。我只对每个
窗口
的最终结果感兴趣,所以我
使用
了.suppress()特性,该特性为其状态创建了一个changelog主题。这意味着主题将无限增长(每个
窗口
都将带来永远不会
删除
的新关键字)。 因为聚合是按
窗口
进行的,所以在聚合完成之后,我并不真正需要“
旧
”键。有没有办法告诉
Kafka
Streams
从以前的
窗口
中<em
浏览 33
提问于2019-02-12
得票数 0
回答已采纳
1
回答
永久
Kafka
流/KSQL
保留
策略
apache-kafka
、
apache-kafka-streams
、
stream-processing
、
ksqldb
我目前正在研究一个跟踪用户与平台交互的用例,从而生成一个事件流,这些事件流存储在
kafka
中,随后将在
Kafka
Streams
/KSQL中进行处理。(.)
Kafka
Streams
DSL
使用
的默认实现是一个容错状态存储,
使用
1.内部创建和压缩的变更主题(用于容错)和2.一个(或多个)
RocksDB
实例(用于缓存键值查找)。(
KAFKA
-4015是在0.10.1版本中修正的,加
窗口
的变更主题在应用额外的
浏览 5
提问于2020-03-04
得票数 1
回答已采纳
1
回答
Kafka
Streams
KeyValueStore retention.bytes
java
、
apache-kafka
、
apache-kafka-streams
Serdes.String() streamsBuilder.addStateStore(store1.withLoggingEnabled(storeConfig)); 在这种配置下,我预计超过30天的
数据
集将消失Oct 11:05 LOG.old.1569949239434224 它似乎没有实现配置的超过30天的
保留
期,它还实现了超过文件大小。我在互联网上发现还有参数Topic.RETENTION_BYTES_CONFIG 'retention.bytes',我是否也需要配置这个参数,这样我的
数据
在
保
浏览 21
提问于2019-10-02
得票数 0
1
回答
卡夫卡流:
RocksDB
TTL
apache-kafka
、
apache-kafka-streams
但是,如果我们需要在存储中
保留
最多2天的
数据
,我们能用RocksDBConfigSetter接口实现(即options.setWalTtlSeconds(172800) )进行覆盖吗?
浏览 1
提问于2018-06-27
得票数 3
回答已采纳
1
回答
对于时间序列的滚动/聚合,流处理比批处理更好吗?
apache-spark
、
apache-kafka
、
stream
、
batch-processing
、
apache-kafka-streams
背景- 流处理:
使用
Kafka
Streams
API来卷起
数据
,并在Cassandra中摄取汇总的
数据
。批次处理:将原始
数据
输入Cassandra,并维护新摄入的密钥索引。它允许我赶上
数据
,即使我的卷起系列是失败/下降了一
浏览 0
提问于2019-03-25
得票数 1
1
回答
KafkaStreams状态存储初始化重复创建和
删除
RocksDB
文件夹
apache-kafka-streams
我将KafkaStreams 0.10.2.1与
窗口
化的
RocksDB
状态存储一起
使用
,并且在状态存储初始化过程中看到了非常奇怪的行为。在每个任务的状态存储文件夹中,KafkaStreams正在创建和
删除
包含
RocksDB
文件的文件夹30分钟。的名字,如包含
RocksDB
文件。创建这些文件夹,然后
删除
这些
浏览 5
提问于2017-10-23
得票数 2
回答已采纳
1
回答
Kafka
流抑制功能,获取延迟超过宽限期的事务
apache-kafka-streams
我目前正在
使用
Kafka
流式DSL抑制功能的日期
窗口
。我们可能会遇到这样一种情况,一些事件可能会很晚才发生,超过了宽限期。 根据
kafka
流媒体文档,这样的事件将被丢弃,这不适合window。2)考虑到数百万事件流经系统,如何
使用
DSL- suppress将间歇性聚合
数据
保存在内存中?任何timeline
kafka
流媒体社区都将很快提供rockDB支持,以避免应用程序因内存不足而崩溃。
浏览 2
提问于2019-05-15
得票数 0
1
回答
卡夫卡流
窗口
加入
保留
apache-kafka
、
apache-kafka-streams
我们正在
使用
kafka
streams
的
窗口
连接来连接2个流,我们想知道: 虽然我可以看到内部主题(对于JOINTHIS和OUTEROTHER)是用 Configs:retent
浏览 0
提问于2018-02-28
得票数 3
回答已采纳
1
回答
Kafka
流JoinWindow的
数据
java
、
scala
、
apache-kafka
、
apache-kafka-streams
、
rocksdb
在
Kafka
中,我
使用
的是
使用
JoinWindow的流/流连接。 据我所理解,JoinWindows是
使用
Stores实现的,然后两个流的
数据
都存储在
RocksDB
数据
库中。但是,一旦事件时间过期(传递在“直到”()中定义的
保留
时间),物理
数据
会发生什么情况?它们是否从
RocksDB
数据
库中
删除
?
浏览 0
提问于2017-11-22
得票数 0
回答已采纳
1
回答
Kafka
流状态存储是处理大量密钥和
数据
的有状态应用程序的有效解决方案吗?
apache-kafka
、
apache-kafka-streams
我正试图确定
Kafka
Streams
州立商店是否适合这个问题: 主题将是接收有超过20000个不同密钥的
数据
。对于流中的每个键,我需要在一个州存储中保存12个条目,比如键1:。20k键,我将在状态存储中
保留
240 k键值对。How ,如何确定每个
Kafka
流所需的内存内存,,,,,,
RocksDB
,,,,
RocksDB
,
RocksDB
,,,指南,以确定处理这个负载所需的大量复制?I将
使用
交互式查询按键访问信息,如上文所示,该查询由组
浏览 4
提问于2020-02-08
得票数 1
回答已采纳
1
回答
为什么我要用
Kafka
流来配置一个州立商店?
apache-kafka
、
apache-kafka-streams
、
rocksdb
我有以下设置: Stores.persistentKeyValueStore("
kafka
.topics.table", maxNumMatches), "
kafka
.topics.table"); KafkaStreams
streams
= new KafkaStrea
浏览 4
提问于2019-12-07
得票数 2
回答已采纳
1
回答
Kafka
流-存储在内存中的内容和流应用程序中的磁盘
apache-kafka
、
apache-kafka-streams
不过,我不清楚
数据
是如何处理的--什么存储在内存中,什么存储在磁盘上。我在某个地方见过
RocksDB
,但在
streams
文档中没有提到。 我要解决的问题如下。我有2个
Kafka
主题,两个键值存储类型,为每个键
保留
最古老的值。在我的
streams
应用程序中,我想将这两个主题连接起来,并将连接输出回
kafka
,稍后可以被一些接收器
使用
。这两个主题都将有GBs的
数据
,所以这是不可能适合流应用内存。
浏览 3
提问于2017-08-23
得票数 7
回答已采纳
2
回答
Kafka
-本地状态存储是否消耗应用程序内存(JVM)
java
、
apache-kafka
、
apache-kafka-streams
、
spring-kafka
我有一个消费者API线程运行在我的应用程序中(运行在不同的节点上),我的目标是消费来自
Kafka
的传入记录,它将具有唯一的id作为键。寻找一个选项来存储由
Kafka
消费者API处理的记录,以便我的订单可以
使用
它来显示。 计划在
Kafka
broker上
使用
Stream API处理并创建Ktable。如果我选择
使用
持久状态存储,它是否仍然消耗我的本地应用程序内存?如果是这样的话,是不是就像是临时的,记录一处理就会释放内存?尝试避免应用程序中的任何内存问题,并查看哪个状态存储选项最适合我的用
浏览 3
提问于2020-07-20
得票数 0
1
回答
kafka
流会话
窗口
保留
时间
apache-kafka
、
apache-kafka-streams
我们
使用
卡夫卡流的SessionWindows来聚合相关事件的到来。此外,除了聚合之外,我们还
使用
until() API指定
窗口
的
保留
时间。流信息活动: e2;eventTime:上午10:00;arrivalTime下午2:10 (同一天) 第二项活动的到
浏览 3
提问于2017-06-07
得票数 6
1
回答
Kafka
流:
窗口
时对
旧
数据
的再处理
apache-kafka
、
apache-kafka-streams
有一个
Kafka
流应用程序,它通过流连接执行
窗口
(
使用
原始事件时间,而不是挂钟时间),例如1天。如果打开这个拓扑,并从一开始就重新处理
数据
(就像在lambda风格的体系结构中那样),那么这个
窗口
会将
旧
数据
保存在那里吗?例如:如果今天是2022-01-09,而我正在接收2021-03-01的
数据
,这个旧
数据
会进入表吗,还是会从一开始就被拒绝? 在这种情况下-可以采取什么策略来重新处理这些
数据
?
使用
<e
浏览 6
提问于2022-01-09
得票数 0
6
回答
Lib上的UnsatisfiedLinkError在
使用
Kafka
流进行开发时对dll的影响
java
、
apache-kafka
、
apache-kafka-streams
、
rocksdb
我正在开发Windows机器上编写一个
Kafka
Streams
应用程序。如果我尝试
使用
Kafka
的leftJoin和branch特性,则在执行jar应用程序时会出现以下错误: at org.
rocksdb
.
RocksDB
.loadLibrary(
RocksDB
.java:64) at org
浏览 14
提问于2017-05-02
得票数 8
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Kafka streams概览
重温 Apache Kafka
Python流处理
数据处理能力相差 2.4 倍?Flink 使用 RocksDB 和 Gemini 的性能对比实验
系统解读Kafka的流和表(三):处理层
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券