腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(4029)
视频
沙龙
1
回答
Kafka
KTable
物化
状态
存储
控件
apache-kafka
、
apache-kafka-streams
、
ktable
我们将
KTable
具体化到一个内部
状态
存储
中。 a.)我如何以及在哪里指定,这个内部
状态
存储
应该是持久的,并自动备份到另一个
kafka
主题?c.)是否存在将传入messaageRecords写入内部
状态
存储
区的频率?会不会发生这样的情况,一个特定的MessageRecord被流处理器处理,
存储
在
KTable
中,然后我的流处理器死了,它无法进入内部
状态
存储
!!下面是我们现在使用的代码
浏览 39
提问于2020-10-06
得票数 0
1
回答
Apache (v3) -
KTable
表现得像KStream?
apache-kafka
我是Apache的新手,我的理解是,当使用
KTable
时,您只得到对记录的最后更新。不过,我要拿回所有匹配的记录。
KTable
<String, String> myTable = builder.table(topicName, Consumed.with(AutoOffsetReset.EARLIEST<String, String>toSysOut() KafkaStreams kafkaS
浏览 3
提问于2022-11-22
得票数 1
回答已采纳
1
回答
Kafka
流
KTable
changelog TTL
apache-kafka
、
apache-kafka-streams
、
rocksdb
A-Snapshot和B-Snapshot都不传递空值(删除事件被聚合为快照的
状态
属性)。此时,我们可以假设我们有一个持久化的
kafka
主题和一个rocksDB本地
存储
库,用于A-
KTable
和B-
KTable
聚合。尽管如此,我的问题是A-
KTable
和B-
KTable
物化
生命周期(即changelog主题和本地rocksdb
存储
)。假设A-Event主题和B-Event主题保留策略被设置为2周,是否有一种方法可以副作用卡夫卡内部<e
浏览 1
提问于2019-05-21
得票数 0
回答已采纳
1
回答
Spring Cloud Stream -查询主题而不显式消费
KTable
/KStream?
apache-kafka-streams
、
spring-cloud-stream
、
spring-cloud-stream-binder-kafka
我想为
状态
存储
使用
Kafka
Streams绑定器。应用程序将向主题发布消息,我希望使用
Kafka
Streams InteractiveQueryService来检索同一主题中的数据。是否可以按原样执行这样的查询,或者我是否需要首先将主题作为
KTable
/KStream使用并
物化
它,然后才能执行查询?我不需要对topic进行
KTable
/KStream处理,我只想查询topic的内容。我希望有某种方法可以隐式地将其具体化为
状态
<e
浏览 36
提问于2020-01-28
得票数 0
1
回答
KTable
与本地
存储
的区别
apache-kafka
、
apache-kafka-streams
如我所想,
KTable
-带有compaction删除策略的简单
kafka
主题。此外,如果为
KTable
启用了日志记录,则还会有changelog,然后,删除策略为compaction,delete。KStream<K, V> source = builder.stream(topic1);
KTable
<K, V> table = builde
浏览 2
提问于2018-09-25
得票数 19
回答已采纳
1
回答
在卡夫卡流中创建全球国家商店(Spring)
spring
、
apache-kafka
、
apache-kafka-streams
、
spring-kafka
、
ktable
我是新卡夫卡,并试图创建一个小卡夫卡
KTable
实现。我已经成功地添加了一个
KTable
并能够进行查询。我曾经使用过当地的州立商店,它的运作就像预期的那样。要添加全局
状态
存储
,我需要添加RPC端点文件上说 这是否意味着我们需要在
Kafka
应用程序中创建一个客户端端点
浏览 4
提问于2020-03-16
得票数 1
1
回答
应该由
KTable
发出的事件
scala
、
apache-kafka
、
apache-kafka-streams
我正在尝试测试一个拓扑,作为最后一个节点,它有一个
KTable
。我的测试是使用一个完整的卡夫卡集群(通过合流的码头图像),所以我是,而不是使用TopologyTestDriver的。我正在使用Scala、
Kafka
2.2.0、汇合平台5.2.1和
kafka
-streams-scala。32), "key3" -> CustomerMapped("The Lady&qu
浏览 0
提问于2019-04-15
得票数 2
回答已采纳
1
回答
如何从另一个流处理器访问KStreams
物化
状态
存储
apache-kafka
、
apache-kafka-streams
我需要能够从
Ktable
中从一个单独的Stream处理器中删除一个记录。今天,我使用聚合()并传递一个
物化
状态
存储
。在一个从“终止”主题中读取的独立处理器中,我希望在.transform()或另一个.aggregate()中查询
物化
状态
存储
,并‘删除’那个键/值。每次我尝试从一个单独的流处理器访问
物化
状态
时,它总是告诉我要么
存储
区没有添加到拓扑中,然后我添加它并再次运行它,然后它告诉我它已经被注册并出错了。
浏览 3
提问于2020-03-04
得票数 2
1
回答
如何让
KTable
只发布最新的更新?
scala
、
apache-kafka
、
apache-kafka-streams
我的
KTable
是在每个更新上发出的,而不是仅仅是最新的更新。prodProps.put("bootstrap.servers", "localhost:9092") prodProps.put("value.serializer", "org.apache.<em
浏览 1
提问于2020-02-20
得票数 0
回答已采纳
1
回答
有关如何在Spring启动应用程序中使用
KTable
的Spring Cloud3.1文档
spring-cloud
、
spring-cloud-stream
、
spring-cloud-stream-binder-kafka
我正在努力寻找任何关于我可以在哪里使用Spring Cloud Streams的文档,这些文档将
Kafka
主题放入
KTable
中。boot中执行此操作的过程中,我已经查找了文档,例如这里的https://cloud.spring.io/spring-cloud-static/spring-cloud-stream-binder-
kafka
/3.0.0.RC1/reference/html/spring-cloud-stream-binder-
kafka<
浏览 19
提问于2021-04-22
得票数 0
1
回答
从消费者创建materializeView (功能编程模型)
spring-cloud-stream
是否有可能从使用者那里创建一个
物化
视图,而无需真正为其编写逻辑?因为我在
kafka
主题中的数据可以在没有任何转换的情况下实现。public Consumer<
KTable
<String, Pojo>> process() {} 我在文档中看到,可以直接执行spring.cloud.stream.
kafka
.streams.bindin
浏览 1
提问于2021-07-26
得票数 0
回答已采纳
2
回答
KTable
不对具有相同密钥的传入记录执行重复数据消除
apache-kafka
、
spring-kafka
、
spring-cloud-stream
、
spring-cloud-stream-binder-kafka
我正在尝试使用输入主题作为
KTable
对记录进行重复数据删除,并将它们下沉到输出主题。但
KTable
仍在将重复记录下沉到输出主题。不确定我哪里错了。process-in-0: input.topic definition: process value: serde: org.apache.
kafka
.common.se
浏览 38
提问于2021-05-07
得票数 1
回答已采纳
1
回答
KSQL -非流查询
apache-kafka
、
ksqldb
是否有方法查询
KTABLE
中的所有当前条目?我正在尝试使用有效负载执行REST的http请求 "ksql": "SELECT * FROM MY_
KTABLE
;", "auto.offset.reset那么,在不需要流的情况下只需要所有当前数据并将
KTABLE
作为常规缓存表时,是否可以进行常规查询呢?
浏览 4
提问于2017-12-11
得票数 0
回答已采纳
1
回答
将整个
kafka
主题
物化
到rocksdb中
apache-kafka
、
apache-kafka-streams
、
ksqldb
我目前正在做一个
kafka
streams的POC,其中我试图使用kakfa作为一个消息总线以及一个数据库。我尝试使用ksql来实现第二个目的。有没有办法将整个主题
物化
为
kafka
中的
状态
存储
?
浏览 18
提问于2019-03-12
得票数 0
2
回答
如何将
KTable
输出发布到特定的
Kafka
主题?
apache-kafka-streams
我正在尝试编写我的第一个练习应用程序,使用
Kafka
Streams来计算主题中的字数。但是,我想我指的是旧的API,因为在lambda函数的末尾,我想将
KTable
的输出放到一个主题中,但我没有看到任何这样的方法。 我引用的代码使用了to()方法,但我认为现在没有这样的方法。Serdes.Short().getClass()); //1- Stream from
Kafka
wordCount
浏览 19
提问于2019-12-26
得票数 2
1
回答
卡夫卡的溪流与国家商店的写作
java
、
apache-kafka-streams
、
spring-cloud-stream-binder-kafka
我已考虑实施以下措施: time.Materialize 将传入的消息流作为一个
物化
的
KTable
来使用,以便我可以在稍后的
KTable
中通过键查找和检索消息--另一个
状态
存储
中的消息I列表。使用Spring的调度机制运行一个单独的线程,该线程通过InteractiveQueryService bean从
状态
存储
读取。我遇到的问题是,InteractiveQueryService提供了对
状态
存储
的只读访问,因此不能删除其他线程中的条目
浏览 4
提问于2020-06-23
得票数 0
2
回答
Kafka
流创建了一个简单的
物化
视图
java
、
apache-kafka-streams
、
spring-kafka
我想要创建这些事件的
物化
视图,以便我可以查询它们。例如: 我能把信息输入卡夫卡,并将它们消耗掉。但是,我无法创建一个
物化
的视图。我有下面的代码来过滤事件(不是我真正想要的,我想要所有的事件,但我只是想看看我是否能得到一个
物化
的视图): public void pro
浏览 0
提问于2019-07-02
得票数 1
回答已采纳
2
回答
Kafka
流返回字段x=某些值的所有记录
java
、
apache-kafka-streams
、
spring-kafka
我已经有了一个
KTable
和一个所有记录的
物化
视图,所以我只需遍历视图中的所有记录并挑选出我想要的记录,但这似乎是低效和昂贵的。我真的很想要创建一个
物化
视图,其中的视图包含记录groupedby,但我看不出有任何方法可以这样做。看起来,您只能使用groupby进行聚合、计数、缩减等。 对怎么做有什么想法吗?
浏览 1
提问于2019-07-03
得票数 0
回答已采纳
1
回答
流入站
KTable
可预测的内部
状态
存储
主题名称
spring-boot
、
apache-kafka
、
apache-kafka-streams
、
spring-cloud-stream
、
spring-cloud-stream-binder-kafka
我们使用了带有函数的
Kafka
流。我们有一个典型的示例应用程序,它将用户单击的kstream与用户区域
ktable
连接起来。我们知道,在定义拓扑时,可以使用接受
物化
存储
名称的appropiate方法来强制内部changelog或重新分区主题的自定义名称: public BiFunction<KStream<String, Long>,
KTable
<String, String>, KStream<String, Long>> bifun
浏览 11
提问于2022-01-24
得票数 0
回答已采纳
1
回答
Apache
Kafka
Streams交互式查询-如何创建值是实体而不是聚合的
存储
apache-kafka
、
event-sourcing
、
apache-kafka-streams
这个想法是能够从
物化
视图(
Kafka
Streams
存储
)获得订单的当前
状态
。Integer, JsonNode> stream = kStreamBuilder.stream(integerSerde, jsonSerde, STREAMING_TOPIC);我需要的商店
浏览 8
提问于2017-07-17
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Kafka Streams与Quarkus:实时处理事件
Kafka streams概览
系统解读Kafka的流和表(一):开篇
我们为什么从Kafka迁移至Pulsar?
系统解读Kafka的流和表(三):处理层
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券