两个不同KStreams的连接值

apache-kafka、apache-kafka-streams

所以我有两个不同的KStream，如下所示：流2：(String key，Object value2) 我想加入他们，这样我就可以得到一个看起来像(Object value1，Object value2)的流。做这件事最干净的方法是什么？

浏览 4提问于2017-06-16得票数 1

回答已采纳

1回答

连接两条卡夫卡流

apache-kafka、kafka-consumer-api、kafka-producer-api、apache-kafka-streams、apache-kafka-connect

试图加入两个Kstreams，但我得到的类型错配错误下面是代码片段。JoinWindows.of(joinWindowSizeMs).until(windowRetentionTimeMs),stringSerde, stringSerde, stringSerde); 出现的错误是类型不匹配:不能从字符串转换为R --这是连接kstreams join(KStream<K,VO> otherStream, ValueJoiner<?extends VR> joi

浏览 1提问于2018-05-24得票数 0

1回答

在Kafka流连接中，第二个连接字段会排队等待第一个字段加入窗口吗？

apache-kafka、apache-kafka-streams

假设我们有两个Kafka流，其中流1的A必须与流2的A连接，流1的B必须与流2的B连接。如下所示：B1 -> B2流1-流2-连接.=‘2’>.现在，我的问题是：(B，B)会合会发生吗?还是首先等待流1的A到达，以便A1 -> A2

浏览 1提问于2020-01-10得票数 0

0回答

Kafka:在不同版本之间复制主题？

apache-kafka、kafka-consumer-api、apache-kafka-streams

我有两个经纪人。第一个运行0.9，第二个运行0.10有没有一种简单的方法将一个主题从0.9复制到0.10？或者使用0.10客户端连接到0.9？我讨厌不得不将两个版本塞进同一个jar中。仅仅使用0.9代理和0.10客户端似乎是行不通的</

浏览 0提问于2016-07-14得票数 1

2回答

如何将记录分成不同的流，从一个主题到不同的流？

apache-kafka、apache-kafka-streams、apache-kafka-connect

我有一个源CSV文件，包含不同大小的记录，将每条记录推入一个源主题。我想把记录分成不同的KStreams/KTables与那个源主题。我有一个用于一个表加载的管道，在该管道中，我以分隔格式将记录从源主题推入stream1，然后将记录按AVRO格式推到另一个流中，然后将该流推入JDBC接收器连接器，该连接器将记录推入MySQL数据库。管道应该是一样的。但我希望将不同表的记录推入一个源主题，然

浏览 1提问于2020-04-13得票数 0

回答已采纳

1回答

如何扩大卡夫卡流？

apache-kafka-streams

我有一个使用Apache流的应用程序。对于卡夫卡消费者，同样的consumer.group.id保证在不同的情况下(即不同的机器)不同的应用被视为相同的消费者群体。卡夫卡流中有类似于consumer.group.id的东西吗？(也就是说，当他们拥有same configuration时，他们认为是相同的流)

浏览 0提问于2018-03-12得票数 1

回答已采纳

1回答

写Kafka Streams持久化到数据库是不是一种好的方法？

apache-kafka、apache-kafka-streams、apache-kafka-connect

我想知道在使用Kafka Streams Builder编写持久层时可能会遇到什么问题，或者有什么建议可以使用Kafka Connect JDBC (Sink)？

浏览 19提问于2018-01-26得票数 1

回答已采纳

1回答

卡夫卡流API:我加入了两个KStreams的empmodel

apache-kafka-streams、kafka-join

} 我得到了错误：无效拓扑构建: KSTREAM-MAP-0000000003和KSTREAM-MAP-0000000004不能连接

浏览 1提问于2017-02-27得票数 2

1回答

用Kafka代替File拍和Logstash

elasticsearch、logging、apache-kafka、logstash、filebeat

我是麋鹿堆栈的新手，我只是想知道是否可以使用Kafka将日志文件发送到Elasticsearch。，但我也需要用 grok 这样的过滤器来解析日志。是可能的吗？基本上，我要做的是用卡夫卡取代Filebeats和Logstash的组合，我想知道这是否可能。注意:我试图做的是Ship +分析在Kafka中的日志。我知道使用elasticsearch连接器可以将日志发送到Elasticsearch，但我想问的是，使用Kafka

浏览 0提问于2018-07-18得票数 3

回答已采纳

1回答

Kafka数据流ID

mongodb、apache-kafka、apache-kafka-streams、filebeat

我是Kafka的新手，正在尝试建立一个管道，将我的apache httpd日志连接到mongodb。我有用Kafka Output从Filebeat产生的数据。然后，我使用Kstreams从主题中读取数据，并将数据mapValues到不同的主题。然后使用Kafka Connect to a database (MongoDB)将数据下沉。不幸的是，我的Filebeat中的数据没有ID。我如何为它们创建ID，因为我

浏览 16提问于2019-02-08得票数 0

回答已采纳

1回答

流数据处理连接不同的两个延迟

bigdata、streaming、apache-flink、flink-streaming、data-stream

我们有两个事务，但是我们需要为将来的情况配置它们。我很好奇你对这个过程的想法。(我是流媒体数据新手)我们有Flink和KStreams环境。这两个事务有两个不同的延迟。如果没有延迟限制，如何确保输出流中数据的完整性?如果我们知道存在60秒的最大延迟，并且有一个限制，不能将对象保存在内存中，那么如何确保输出流中数据的完整性？

浏览 8提问于2022-07-28得票数 0

回答已采纳

1回答

哪种Kafka消费产品最适合从所有TopicPartition中采样数据？

apache-kafka

我想从一个Kafka集群上的所有主题采样数据。KStreams看起来很适合，因为它去掉了很多样板。但是，它似乎不适合在每个流中查询多个主题。比方说，如果我有50个主题，具有不同的分区号，那么KStreams是从每个主题分区消费一些消息的好方法吗？或者我应该只写我自己的kafkaconsumer？

浏览 0提问于2018-10-06得票数 0

1回答

apache-kafka、apache-kafka-streams

我是KStreams的新手，有一个关于在KStreams应用程序中重新分区的问题。我很难在在线文档中找到一个明确的答案，我想知道你们中是否有人可以提供一些启发。目标是以一种有效的方式在新的关键字上重新划分主题。在KStreams中，我们可以调用map()并更改键并将其写入输出主题。对于运行在不同JVM中的kstream应用程序实例，在同一消费者组中运行它们自己的消费者，从原始主题消费如何工作？因此

浏览 0提问于2021-02-09得票数 0

1回答

KStream到KTable内连接，每次使用相同的数据处理时产生不同数量的记录

apache-kafka、apache-kafka-streams、spring-kafka、spring-kafka-test

>每次我第一次或在启动应用程序时做一个连接。在构建KTable之前( starts + Rekey)，构建KStreams并从KStream侧为join提供数据，然后连接从out KTable开始，因此在构建KTable之前不会在最终连接中看到数据在构造完records.Question 2之后，我们

浏览 5提问于2020-03-08得票数 0

回答已采纳

0回答

KafkaStreams - InconsistentGroupProtocolException

apache-kafka、apache-kafka-streams

我有一个Kafka Streams应用程序，它使用Kafka Streams DSL连接到我们的Kafka集群，如下所示：KStream<String, byte[]> stream = builder.stream(myTopic); kStreams.start(); 以及我<

浏览 5提问于2017-01-12得票数 8

回答已采纳

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

两个不同KStreams的连接值

相关·内容