腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Kafka
Streams
-
通过
交互式
查询
在
远程
存储
中
进行
查找
的
最佳
方式
?
apache-kafka
、
apache-kafka-streams
我想让这个物化
的
全局
存储
基本上作为其他
Kafka
Streams
应用程序
的
“
查找
”表。现在,我想要有许多独立
的
微服务,每个微服务都是
Kafka
Streams
应用程序,它们将处理来自KStream
的
事件,然后
通过
交互式
查询
在
lookupStore上
进行
查找
。让我们假设我对host:port上公开RPC层
浏览 41
提问于2020-11-11
得票数 0
1
回答
使用
kafka
作为事件
存储
来补充事件源聚合
apache-kafka
、
cqrs
、
event-sourcing
越来越多
的
文章将
kafka
作为事件
存储
,并将其用于使用cqrs和事件源构建
的
应用程序
中
。如何在
kafka
(作为事件
存储
库)
查询
某个聚合
的
事件,以完成写入端
的
操作?
浏览 1
提问于2016-10-15
得票数 4
1
回答
对于时间序列
的
滚动/聚合,流处理比批处理更好吗?
apache-spark
、
apache-kafka
、
stream
、
batch-processing
、
apache-kafka-streams
背景- 流处理:使用
Kafka
Streams
API来卷起数据,并在Cassandra
中
摄取汇总
的
数据。批次处理:将原始数据输入Cassandra,并维护新摄入
的
密钥索引。运行调度程序,从索引表
中
浏览 0
提问于2019-03-25
得票数 1
1
回答
我们可以
在
Kafka
Streams
中使用任何其他数据库,如MariaDB或MongoDB来代替Rocks DB来
存储
状态吗?有什么方法可以配置它吗?
mongodb
、
apache-kafka
、
apache-kafka-streams
、
spring-cloud-stream
我有一个Spring boot
Kafka
Stream应用程序,它处理所有传入
的
事件,并将其
存储
在
Kafka
Streams
内部提供
的
State store
中
,并使用
交互式
查询
服务
进行
查询
。在所有这些使用" RocksDB“
的
Kafka
流
中
,我想用任何其他可以配置
的
数据库替换这个RocksDB,比如
浏览 21
提问于2020-08-27
得票数 4
1
回答
spring-
kafka
:
在
Spring Boot中使用
交互式
查询
spring-boot
、
apache-kafka-streams
、
spring-kafka
在
Kafka
Streams
+ Spring Boot应用程序
中
配置(提供主机和端口信息)和访问
交互式
查询
的
惯用
方式
是什么? 访问KafkaStreams实例以访问状态
存储
的
正确方法是什么?我知道spring-cloud-stream中有InteractiveQueriesService,但我并不是只
在
Spring Boot中使用spring-
kafka
库。 谢谢
浏览 11
提问于2020-10-17
得票数 1
回答已采纳
3
回答
如何从
kafka
主题直接
查询
?
java
、
apache-kafka
、
ksqldb
我已经研究了Interactive queries和KSQL,但我似乎无法确定是否可以基于键
查询
特定
的
记录。假设我
在
一个主题中有一条记录,如下所示: { value: id: "1", } } 可以
在
主题中搜索关键字另外,KSQL和
交互式
查询
会占用整个主题来执行
查询
吗?
浏览 30
提问于2020-01-02
得票数 0
回答已采纳
3
回答
版本0.10.2.0
的
Kafka
Streams
应用程序问题
apache-kafka
、
apache-kafka-streams
我有一个现有的
Kafka
应用程序,它可以很好地使用0.10.1.1。更新到新
的
0.10.2.0
Kafka
流库以及新代理(尽管新库向后兼容0.10.1.1)。快速背景 我有一个基于
交互式
查询
元数据
的
API之上
的
REST。它搜索本地
存储
,并
查询
远程
存储
(使用
通过
StreamsMetadata方法获得
的
KafkaStreams.allMetadataForStore
浏览 8
提问于2017-03-05
得票数 2
1
回答
Kafka
流状态
存储
区rocksdb文件大小在手动删除消息时不会减少
apache-kafka-streams
、
rocksdb
、
spring-cloud-stream-binder-kafka
我使用处理器api从状态
存储
中
删除消息。Delete是成功
的
,我
通过
使用由
kafka
键对状态
存储
的
交互式
查询
来确认,但是它并没有减少本地磁盘上tmp/
kafka
-
streams
目录下
的
kafka
流文件大小。statestore.all().forEachRemaining(keyValue -> { statestore
浏览 7
提问于2020-02-12
得票数 0
回答已采纳
1
回答
使用KSQL
查询
Kafka
流KTable
apache-kafka
、
apache-kafka-streams
、
ksqldb
、
ktable
我正在编写这个卡夫卡流应用程序,它接收被注册
在
卡夫卡主题中
的
传感器读数(
在
JSON
中
作为消息),并在每分钟、每小时和每天
的
基础上对这些读数
的
值执行一些聚合。然后,我将从这些聚合中派生
的
KTables具体化,并使用默认状态
存储
存储
它们。我想知道是否可以使用KSQL
查询
这些表。
浏览 1
提问于2019-10-01
得票数 1
回答已采纳
1
回答
如何利用
交互式
查询
存储
和全局
存储
实现处理单个主题
的
Kafka
流拓扑
java
、
apache-kafka
、
apache-kafka-streams
我正在尝试实现
Kafka
流,它将把单个主题流作为具有
交互式
查询
的
全局数据库。所以我想要:queryable
存储
,允许我获得
交互式
查询
(最大)
的
结果。
交互式
查询
必须计算记录字段之一
的
全局最大值: KStream<String, TercUnitRecord> recordsStream = topol
浏览 3
提问于2020-09-15
得票数 0
回答已采纳
4
回答
Kafka
Streams
2.5.0需要输入主题
apache-kafka-streams
从
Kafka
Streams
2.5.0开始,似乎拓扑必须包含一个输入主题。
在
Kafka
2.4.1 (及更早版本)
中
,情况并非如此。我有一个应用程序,其中
的
拓扑只是创建一些全局状态
存储
,这些
存储
从其他应用程序写入
的
主题中读取数据。
在
Kafka
2.5.0
中
,我得到了这个错误: 13:24:27.161 [<redacted>-7cf1b5c9-4a6e-4bf2-9f
浏览 35
提问于2020-04-21
得票数 6
回答已采纳
1
回答
合并来自多个
kafka
的
数据到单个
kafka
apache-kafka
、
cassandra
我有N个
Kafka
主题,有数据和时间戳,我需要将它们组合在一个具有排序时间戳顺序
的
主题中,其中数据
在
分区内排序。我有一种方法可以做到。将Cassandra
中
的
所有
Kafka
主题数据(因为其快速写入)与聚类顺序降序组合在一起,它会将它们全部组合在一起,但限制是如果在数据累积
的
时间窗口之后,如果数据来得晚,则不会对其
进行
排序 有没有其他合适
的
方法来做到这一点如果没有,那么我
的
解决方案是否有任何改进
的
机会
浏览 1
提问于2020-04-20
得票数 0
1
回答
Spring和
Kafka
streams
-如何使用
查询
API
spring
、
apache-kafka
、
apache-kafka-streams
、
spring-kafka
我是第一次接触
kafka
和
kafka
streams
。我有一个与
kafka
生产者、消费者、KStream和KTable一起工作
的
基本Spring服务。这可以
通过
以下
方式
实现(无需Spring集成):// Get access to来
查询
..但是我
在
Spring boot
中
浏览 1
提问于2019-11-19
得票数 1
2
回答
与Spring
的
KafkaStreams交互
查询
spring-boot
、
apache-kafka
、
apache-kafka-streams
、
spring-cloud-stream
、
spring-kafka
由于我
的
应用程序是专注于卡夫卡流,我需要使用
交互式
查询
和
查询
我
的
状态商店,我想知道:有什么特别的
方式
来访问卡夫卡流状态商店与Spring ?据我所见,流对
交互式
查询
有一定
的
支持,但我
在
Spring
中
找不到任何关于它们
的
信息。我是错过了什么,还是
在
春天没有得到支持-卡夫卡?如果是这样的话--
在
创建我自己版本
的
org.springf
浏览 1
提问于2019-01-10
得票数 1
4
回答
如何在将消息传递给消费者之前对其
进行
过滤?
java
、
apache-kafka
我正在使用
Kafka
创建一个销售线索和活动管理系统。问题是我们得到了许多虚假
的
线索(广告)。我们
的
系统
中
也有很多消费者。
在
投放给消费者之前,有没有过滤广告
的
方法?我
的
解决方案是将所有内容写入第一个主题,然后由筛选器使用者读取它,然后将其写回第二个主题或对其
进行
筛选。但我不确定它是否有效。有什么想法吗?
浏览 33
提问于2015-06-18
得票数 14
回答已采纳
2
回答
Kafka
流交互
查询
--
在
查询
状态
存储
之前,如何等待流处理输入主题中
的
所有当前记录
apache-kafka
、
apache-kafka-streams
我正在尝试编写一个
kafka
streams
应用程序,它执行一些转换并将数据放入物化
的
键值
存储
中
,然后从
存储
区读取它(我需要
查询
压缩
的
数据)。如果我
在
KafkaStreams状态运行后直接开始
查询
存储
(并且
在
单独
的
线程
中
这样做),我将读取空
存储
,
在
实际读取任何数据之前应用程序退出。我找到了一种很有前途
的
浏览 1
提问于2021-04-06
得票数 0
1
回答
Kafka
streams
.allMetadata()
在
DOCKER
中
返回空列表(
交互式
查询
)
docker
、
apache-kafka
、
apache-kafka-streams
我有一个简单的卡夫卡流应用程序,它利用
交互式
查询
并使用RESTfull
进行
实例通信。 该应用程序
在
多个
streams
实例
的
docker之外运行良好。
streams
#allMetadata()返回所有正在运行
的
实例
的
正确列表。但是,一旦我
在
docker
中
运行了这个应用程序,
streams
#allMetadata()
的
结果就是一个空数组[]。注意:
在
浏览 1
提问于2018-07-16
得票数 0
回答已采纳
6
回答
Kafka
Streams
:流式计算、
Kafka
Streams
的
特点和架构是什么?
api
Kafka
在
0.10版本推出了Stream API,提供了对
存储
在
Kafka
内
的
数据
进行
流式处理和分析
的
能力。小白一名,各位大佬能给我解释一下流式计算、
Kafka
Streams
的
特点和架构吗?谢谢!
浏览 2078
提问于2018-09-14
1
回答
压缩的卡夫卡主题可以用作键值数据库吗?
apache-kafka
、
kafka-topic
在
许多文章
中
,我读到过压缩
的
Kafka
主题可以用作数据库。但是,
在
查看
Kafka
时,我无法找到允许我根据键
查询
主题值
的
方法。 那么,一个紧凑的卡夫卡主题可以作为一个(高性能,只读)键值数据库吗?
在
我
的
体系结构
中
,我想给组件提供一个紧凑
的
主题。我想知道这个组件是否需要在其本地数据库
中
复制这个主题,或者它是否可以使用这个压缩
的
主题作为一个键值数据库。
浏览 4
提问于2020-11-24
得票数 4
回答已采纳
2
回答
如何删除GlobalKTable
存储
的
状态?
apache-kafka
、
apache-kafka-streams
我想要删除我
的
GlobalKTable<Integer, Long>
存储
的
状态。我试图
通过
以下
方式
移除这个州: 向我
的
流生成'Test: null‘消息,因为
浏览 0
提问于2018-03-09
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Kafka Streams与Quarkus:实时处理事件
初探Kafka Streams
kafka sql入门
KSQL:Apache Kafka的开源Streaming SQL引擎
系统解读Kafka的流和表(三):处理层
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券