腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Kafka
Streams
DSL
进程
方法
是
如何
工作
的
?
apache-kafka
、
apache-kafka-streams
我一直在使用
Kafka
Streams
,并获得了一些基本
的
功能,但我在理解
Kafka
Streams
DSL
中
的
process
方法
时遇到了一些问题。具体地说: 我知道有两种使用
Kafka
Streams
的
方法
,低级处理API和高级
Streams
DSL
。对于较低
的
级别,您可以更明确地定义拓扑,命名每个节点等,而流
DSL<
浏览 9
提问于2020-01-20
得票数 0
回答已采纳
1
回答
获取
Kafka
Stream in process()
方法
java
、
spring-boot
、
apache-kafka
、
apache-kafka-streams
、
spring-cloud-stream
我正在做一个POC来演示一些Spring Cloud
Kafka
功能。我使用
的
是
带有SpringBoot 2.4.1
的
Java11。我
的
build.gradle具有以下库 implementation 'org.springframework.cloud:spring-cloud-stream'
浏览 0
提问于2021-01-30
得票数 0
3
回答
为什么我会得到这样
的
编译错误:“找不到kstream.Consumed
的
隐含值”,我
如何
修复它?
scala
、
apache-kafka
、
avro
、
apache-kafka-streams
、
jsonschema
[String, custom.UserEvent] [error] .stream[String, UserEvent]("schma.avsc") 第一个想法
是
kafka
-
streams
因此,另一个依赖项
是
帮助AVRO GenericRecord到case类
的
映射和返回。我们还有一些手工编写
的
代码,可以从模式中生成case类,这似乎可以直接与spray json一起
工作
。导入方面,我们要导入隐含
的
内容: import
浏览 22
提问于2020-04-08
得票数 2
回答已采纳
2
回答
Kafka
Streams
- java版本依赖关系
apache-kafka-streams
我正在使用Java1.6运行我
的
应用程序,并计划将一些方面与
Kafka
集成。 我正在探索是否应该使用
Kafka
Consumer (使用poll())或使用KafkaStreams API。
浏览 3
提问于2018-12-20
得票数 0
1
回答
Java中列表
的
动态过滤
java
、
apache-kafka
、
apache-kafka-streams
我正在开发一个java应用程序,从来源接收实时数据(
Kafka
/
Kafka
流)。在我
的
案例研究中,我需要过滤我列表中
的
名字。这份名单最初有1000万个名字。我
的
第一个问题
是
知道什么
是
最好
的
方法
和/技术,以获得更高效/更快
的
处理时间。 第二个问题
是
如何
更新或删除列表中
的
一些名称?
浏览 2
提问于2020-01-25
得票数 0
1
回答
KSQL/
Kafka
Streams
是否支持复杂事件处理?
apache-kafka
、
apache-kafka-streams
、
complex-event-processing
、
ksqldb
我想在
kafka
中做事件
的
用户行为分析。KSQL/
Kafka
Streams
现在是否支持复杂事件处理?
浏览 1
提问于2018-12-06
得票数 1
2
回答
如何
使用Spring
Kafka
测试
Kafka
Streams
应用?
spring-boot
、
apache-kafka
、
apache-kafka-streams
、
spring-kafka
、
spring-kafka-test
我正在写一个使用
Kafka
Streams
,Spring-
Kafka
和Spring Boot
的
流应用程序。在使用Spring-
Kafka
时,我找不到任何信息来正确测试
Kafka
Streams
DSL
所做
的
流处理。文档提到了EmbeddedKafkaBroker,但似乎没有关于
如何
处理测试
的
信息,例如状态存储。 只是提供一些简单
的
例子来说明我想要测试
的
内容。我注册
浏览 25
提问于2019-08-31
得票数 3
1
回答
Spring添加
的
商店无法从流
进程
访问。
java
、
spring-boot
、
apache-kafka
、
apache-kafka-streams
、
spring-kafka
我面临Spring
的
一个问题,那就是它不能从process事件访问状态存储,我将这个特定
的
存储添加到拓扑/流中。
DSL
users need to provide the store name to '.process()', '.transform()', or '.transformValues()' to(ProcessorNode.java:117) ~[
kafka
-
streams
-2.7.2.jar:na] ... 7
浏览 7
提问于2022-02-24
得票数 0
回答已采纳
1
回答
有多个主题分区
的
Kafka
流无法重新均衡错误
apache-kafka
、
apache-kafka-streams
当源主题分区计数= 1时
工作
正常。如果我将分区增加到任何大于1
的
值,我会看到下面的错误。既适用于低级,也适用于
DSL
API。有什么建议吗?可能会遗漏什么?org.apache.
kafka
.
streams
.errors.StreamsException: stream-thread [StreamThread-1] Failed to rebalanceat org.apache.
kafka
.
streams
.processor.internals.StreamThrea
浏览 3
提问于2017-02-19
得票数 6
回答已采纳
1
回答
使用
kafka
连接器在
kafka
主题之间复制数据
apache-kafka
、
apache-kafka-connect
我
是
卡夫卡
的
新手,现在我需要把数据从一个卡夫卡主题复制到另一个。我想知道这样做
的
可能
方法
是什么?我能想到
的
方法
如下:我
的
问题
是
:在两者之间可以使用两个卡夫卡连接器吗?
是
这样
的
,你能给我举几个好例子吗?或者
是
一些
如何
浏览 1
提问于2020-07-15
得票数 1
0
回答
KafkaStreams - InconsistentGroupProtocolException
apache-kafka
、
apache-kafka-streams
我有一个
Kafka
Streams
应用程序,它使用
Kafka
Streams
DSL
连接到我们
的
Kafka
集群,如下所示: KStreamBuilder builder = new KStreamBuilder,它直接使用消费者客户端建立到集群
的
连接。(包括
Kafka
Streams
拓扑)之前收集有关消费者组
的
元数据。可能还有其他
方法
可以做到这一点(例如,通过各种钩子或其他
浏览 5
提问于2017-01-12
得票数 8
回答已采纳
1
回答
scala不使用
kafka
-
streams
-scala和maven
java
、
scala
、
maven
、
build
、
apache-kafka
问题
是
-我有一个程序可以构建和运行良好。它是用Scala编写
的
,它使用
Kafka
流
DSL
。我本来要使用新
的
kafka
-
streams
-scala包,现在我正在使用Maven。我现在不能用SBT。当我添加依赖项时 <groupId>org.apache.
kafka
</groupId> <artifactId>
kafka</e
浏览 0
提问于2018-09-12
得票数 0
回答已采纳
1
回答
kafka
流媒体中
的
消息加密
apache-kafka
、
microservices
、
apache-kafka-streams
我最近正在尝试使用
kafka
streaming进行一些敏感数据处理。我希望实现
的
目标
是
,当敏感数据被加密时,微服务架构
的
能力不会受到影响,即,紧密耦合
的
服务和流数据处理。我
的
问题
是
,在
kafka
流中,有没有可能我用一个密钥解密传入
的
消息,然后用另一个密钥再次加密?我有一个计划,但由于我不熟悉
kafka
streaming,我不能证明
kafka
streaming有能力使用
Streams</
浏览 34
提问于2020-01-14
得票数 0
回答已采纳
1
回答
Kafka
中
的
动态流拓扑
java
、
apache-kafka
、
apache-kafka-streams
使用
Kafka
流
DSL
创建
Kafka
流时例如:当我们开始
的
时候,我们定义了一个拓扑来读取一个主题(来源)和一个目标主题(Sink)。但是,在进行配置更改时,我们现在需要从两个不同
的
主题(如果需要的话
是
两个源)进行读取,并将其写入单个目标主题。
浏览 0
提问于2019-06-18
得票数 1
回答已采纳
1
回答
在Python
的
confluent_
kafka
v0.11.2中只有一次
python
、
apache-kafka
、
kafka-producer-api
、
confluent-platform
I enable.idempotency or change the processing.guarantee to exactly_once in python3.6 for confluent
kafka
v0.11.4.confluent
kafka
的
许多文档只讨论Scala和Java。
浏览 2
提问于2018-07-12
得票数 1
2
回答
Kafka
Streams
-处理器上下文提交
apache-kafka
、
apache-kafka-streams
我
的
意思
是
在预定
的
Punctuator实现中调用commit
方法
,或者在process
方法
中调用。 在哪些用例中,我们应该这样做,我们需要这样做吗?这个问题涉及到带有transform()
的
Kafka
DSL
和处理器API。似乎
Kafka
Streams
自己处理它,而且调用processorContext.commit()也不能保证它会立即完成。
浏览 16
提问于2019-01-07
得票数 8
回答已采纳
1
回答
Kafka
streams
DSL
报头支持
apache-kafka-streams
我可以使用处理器上下文检查处理器API中
的
头部支持。我需要根据header来决定推送记录
的
流。我们
如何
在
DSL
中做同样
的
事情?
浏览 17
提问于2019-02-26
得票数 0
回答已采纳
2
回答
KStream加入重试/延迟
的
KStream
apache-kafka
我们正在尝试实现下面描述
的
用例,我们有我们希望克服
的
实现问题,我们正在尝试通过匹配两个流
的
消息中存在
的
关键字(JSON)来在两个
Kafka
主题之间进行KStream连接。此外,我们应该维护消息序列,因为它是从源文件到达KStream
的
。问题
浏览 2
提问于2019-05-08
得票数 2
1
回答
将输入主题中
的
每条传入记录与其各自
的
前一条记录进行比较
apache-kafka
、
apache-kafka-streams
我在
Kafka
流中
是
新手,我
的
用例
是
将来自输入主题
的
每个单独传入记录
的
值与来自其单独先前记录
的
值进行比较,如果比较条件为真,则将包含比较结果
的
新记录与每个比较记录
的
索引发送到结果主题,否则不发送任何内容在
Kafka
消费者和生产者API中做这件事非常容易,但是((不使用外部DB来存储前面的记录)我只尝试使用(
Kafka
streams
DSL
API),(其中包括K
浏览 2
提问于2018-12-23
得票数 1
1
回答
如何
避免在
Kafka
streams
中创建changelogs?
apache-kafka
、
apache-kafka-streams
我试图避免使用inMemoryWindowStore在
Kafka
streams
中创建changelog主题(我使用
的
是
Kafka
2.3.0和
Streams
DSL
),我也在调用withLoggingDisabled(),但不知何故,当应用程序启动时,changelog主题会被创建,也会使用,因为我可以看到其中
的
数据。
如何
避免创建changelogs?
浏览 15
提问于2019-07-09
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
初探Kafka Streams
Kafka streams概览
Kafka 2.0正式发布,带来众多改进
Kafka 1.0.1案例详解之Kafka Streams
为什么我不推荐Kafka Streams和KSQL?
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券