腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
Apache Flink State Store与
Kafka
Streams
apache-kafka
、
apache-flink
、
apache-kafka-streams
、
stream-processing
据我所知,处理
Kafka
流的
状态
在内存、磁盘或
Kafka
主题中都是本地的,因为所有的输入数据都来自一个分区,其中所有的消息都是由一个定义的值键控的。大多数情况下,计算可以在不知道其他处理器的
状态
的情况下完成。如果是这样的话,您有另一个Streams实例来计算结果。如图所示:Flink到底在哪里
存储
它的
状态
?Flink是否也可以在本地
存储
状态
,或者总是将它们发布到所有实例(任务)?是否可以将Flink配置为将
状态
存储
浏览 0
提问于2019-02-10
得票数 3
1
回答
如果节点崩溃,旧的topic消息因为保留而被丢弃,
Kafka
Stream会丢失
状态
吗?
apache-kafka
、
state
、
apache-kafka-streams
、
rocksdb
默认情况下,
kafka
stream使用快速本地KV
存储
RocksDB作为其
状态
存储
。我的问题是,如果节点崩溃,并且那些要重放
状态
的主题消息由于
kafka
保留而被丢弃(所以它不能从头开始重放消息),
kafka
流是否会丢失
状态
?这是不是意味着那些旧的
状态
在这种情况下丢失了?谢谢!
浏览 0
提问于2018-03-18
得票数 1
1
回答
状态
存储
分区迭代器?
apache-kafka-streams
我有一个
Kafka
流转换器,它的功能类似于窗口:它将
状态
累加到transform()中的
状态
存储
中,然后在punctuate()期间将其转发到输出主题中,
状态
存储
主题分区键与输入主题相同。在punctuate()期间,我希望每个StreamThread只迭代自己的
状态
存储
分区,以尽量减少从支持的
kafka
主题中读取的数据量。但是我唯一能得到的迭代器就是通过 org.apache.
kafka
.streams.state
浏览 2
提问于2018-04-16
得票数 3
回答已采纳
2
回答
卡夫卡流州立商店干什么?
apache-kafka
、
apache-kafka-streams
正如我从书中得到的,
Kafka
流
状态
存储
是一种
存储
键/值
存储
,用于将数据
存储
到
Kafka
或过滤后。 为什么主题不能替代
状态
存储
?
浏览 3
提问于2020-06-27
得票数 0
回答已采纳
1
回答
kafka
在哪里保存本地
状态
存储
?
apache-kafka
、
apache-kafka-streams
我创建了一个
Kafka
主题,并向它发送了一些消息。我看到新目录已在我配置的state文件夹中创建。我删除了
状态
文件夹中创建的目录。我重新启动了具有流拓扑的应用程序。卡夫卡真
浏览 0
提问于2021-04-12
得票数 0
1
回答
Kafka
streams协同分区与交互式查询
apache-kafka
、
apache-kafka-streams
、
partitioning
状态
存储
是从第一个主题构建的,第二个流读取
状态
存储
。当我启动拓扑时,我看到这些流线程被分配了两个源主题的相同分区(共同分区)。我假设这是因为
状态
存储
被第二个主题流访问。对我来说,第二个主题应该尽可能快地处理。处理第一个主题的延迟是可以的。Is there a chance that
Kafka
will assign 10 partitions
浏览 5
提问于2020-10-05
得票数 0
2
回答
max.request.size参数的
kafka
流
状态
存储
问题
apache-kafka
、
apache-kafka-streams
我们在项目中使用
Kafka
流
状态
存储
,我们希望
存储
超过1MB的数据,但是我们得到了下面的例外: topic.max.request.size=50000000 然后应用程序可以正常工作,但是当创建了
状态
存储
内部主题时,但是当
Kafka
重新启动并且
状态
存储
主题丢失/删除时,它可以正常工作,然
浏览 3
提问于2020-06-04
得票数 1
1
回答
是否可以在运行时将新的
状态
存储
添加到拓扑中?
java
、
apache-kafka
、
apache-kafka-streams
有没有办法在不关闭KafkaStreams的情况下在运行时向拓扑中添加新的
状态
存储
并与处理器连接。
浏览 0
提问于2021-06-15
得票数 0
回答已采纳
1
回答
如何重新启动KafkaStreams使用者组,以避免从其changelog主题重新创建
状态
存储
apache-kafka-streams
在具有多个承载KafkaStreams (0.10.2.1)实例和持久
状态
存储
的节点的部署中,建议重新启动所有节点同时避免重播整个
状态
存储
更改主题的推荐方法是什么?这必须在不更改application.id的情况下完成,因为我不想丢失
状态
存储
中已经有的数据。当代理开始重新分配分区(在所有节点都启动后)时,似乎KafkaStreams实例正在重播整个
状态
存储
更改主题,而不是从重新启动之前到达的偏移量中提取。我想,为了从最近的抵消中挑选出这些条件,必须满足
浏览 3
提问于2017-10-28
得票数 1
回答已采纳
2
回答
kafka
在单个事务中生成主题并写入
状态
存储
apache-kafka
、
kafka-producer-api
、
confluent-platform
是否可以在单个事务中生成
Kafka
主题并写入
状态
存储
?而不是作为主题消费的一部分启动事务。我也知道Confluent提供的解决方案。
浏览 3
提问于2019-03-01
得票数 0
1
回答
Kafka
流
状态
存储
区rocksdb文件大小在手动删除消息时不会减少
apache-kafka-streams
、
rocksdb
、
spring-cloud-stream-binder-kafka
我使用处理器api从
状态
存储
中删除消息。Delete是成功的,我通过使用由
kafka
键对
状态
存储
的交互式查询来确认,但是它并没有减少本地磁盘上tmp/
kafka
-streams目录下的
kafka
流文件大小。statestore.all().forEachRemaining(keyValue -> { });
kafka</em
浏览 7
提问于2020-02-12
得票数 0
回答已采纳
1
回答
用
Kafka
Streams中的内存
状态
存储
替换RocksDB
apache-kafka
、
apache-kafka-streams
、
rocksdb
我使用的是
Kafka
Streams 0.10.1.1版本。2017-01-23T13:19:11.830674020Zat org.apache.
kafka
.strea
浏览 1
提问于2017-01-23
得票数 2
1
回答
为什么
kafka
流
状态
dir在/tmp/
kafka
流中?
apache-kafka
、
apache-kafka-streams
、
rocksdb
为什么卡夫卡流state.dir
存储
在/tmp/
kafka
-streams下?我知道我可以通过在流代码中提供
状态
dir配置来更改路径,如下所示但是改变目录会有什么影响吗?或 我可以在应用程序目录而不是/tmp中配置
状态
DB吗?
浏览 0
提问于2019-03-11
得票数 6
1
回答
春启动连接阿里巴巴电子地图演绎卡夫卡
spring-boot
、
apache-kafka
、
spring-kafka
、
alibaba-cloud
我已经尝试将引导属性设置为:获取错误:在身份验证期间终止到节点-1 (/xx.xx:9092)的连接。这可能是由于以下任何原因造成的:(1)身份验证失败是由于代理的凭据无效,代理的年龄超过1.0.0;(2)防火墙阻塞
Kafka
TLS通信量(例如,它可能只允许HTTPS通信);(3)瞬态网络问题。spring.
kafka
.properties.security.protocol=SASL_SSL 引发的抛出: java.lang.Ille
浏览 2
提问于2020-03-02
得票数 1
4
回答
CQRS应用程序中的
Kafka
+ Streams作为事件
存储
-命令模型一致性
apache-kafka
、
apache-kafka-streams
、
cqrs
、
event-sourcing
我读过几篇关于使用
Kafka
和
Kafka
流(与
状态
存储
一起)作为事件
存储
实现的文章。实施理念如下: 每当执行新命令时,从商店获取实体,执行对其的操作,并继续执行步骤
浏览 20
提问于2019-12-05
得票数 0
2
回答
当
Kafka
broker在消费者组协调方面失败时会发生什么情况?
apache-kafka
、
kafka-consumer-api
Kafka
是如何知道经纪人死了的,需要多长时间才能指派一个新的协调员?它是如何配置的? 这本应在文档中,但我找不到。
浏览 2
提问于2017-08-08
得票数 3
1
回答
如何在Spring Cloud Stream中将RocksDB改为内存中的stateStore
apache-kafka
、
spring-cloud-stream
为了比较使用RocksDB或内存中的Spring Cloud Stream应用程序(使用
Kafka
)的性能,我想将RocksDB更改为内存中。不幸的是,我找不到任何解决方案。我已经为DSL API和处理器API ()找到了一个解决方案,但我不确定它是否适用于
kafka
-streams绑定器。有人能在这个问题上帮我吗? 向马丁致以最美好的问候
浏览 20
提问于2019-07-10
得票数 0
1
回答
收集用户在卡夫卡的活动?
apache-kafka
、
redis
我希望提供一个快速的能力,以获得用户的
状态
,他的可用性。因此,我选择Redis
存储
器来
存储
每个用户的可用
状态
。因此,我需要
存储
更多关于可用用户的扩展信息,如区域、登录时间等。问题是,如何同步卡夫卡和雷迪斯?哪个序列应该是,先将事件在线用户
存储
在
Kafka
中,然后再将其
存储
到Redis? 其次是在Redis中<em
浏览 3
提问于2020-05-22
得票数 0
回答已采纳
1
回答
使用
kafka
流
状态
存储
可容纳超过5亿条消息
apache-kafka
、
apache-kafka-streams
我正在尝试评估
kafka
流是否与rocksdb
状态
存储
一起使用,并在changelog (
状态
主题)中使用5亿条消息。用例我有大约8个不同的主题数据,它们属于不同的团队,从这些主题我关心某些数据点,所以我使用rocksdb来保存对象的
状态
,我将来自不同主题的所需数据添加到其中。使用
状态
存储
的
kafka
流也是这样使用的吗?
浏览 0
提问于2018-12-29
得票数 1
1
回答
状态
存储
changelog主题的使用者是什么
apache-kafka
、
apache-kafka-streams
我有一个使用处理器api的拓扑,它更新了一个
状态
存储
,配置了复制因子3,acks=ALL Topologies: Source: products-sourceenriched-products-sink (topic: enriched.products) <-- products-processor 我的监控显示,源主题(< 100条记录)的延迟很小,但是支持
存储
的有一些对rocksdb
状态
存储
的调用,但这些数据
存储</em
浏览 25
提问于2020-11-28
得票数 3
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
kafka zookeeper存储结构
将Kafka作为存储系统
kafka 内部是怎么存储消息的
Kafka的存储及刷盘原理
kafka日志存储以及清理机制
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券