在中，它说：
我是否可以创建多个KafkaStreams实例，它们具有连接到不同集群的不同属性？
浏览 10提问于2017-08-23得票数 13
1回答
我有一个kafka流，它补齐了KTable中缺失的值(leftjoin做得很好)。但有时，我必须将每个值连接到一个数组中，而我不知道如何正确地这样做。但是对于孩子，我不知道如何将每个孩子循环到数组中(我不知道有多少孩子)。实际上，这是一项工作，但我不确定这是不是最好的方法，我更喜欢避免使用内部kafka存储来执行reduce和aggregation操作。
有没有人有更好的主意？感谢
浏览 6提问于2018-02-28得票数 2
我将使用pyspark进行流处理，并使用Kafka作为数据源。
我发现Spark Python API不支持Kafka 0.10连接器。我可以在Spark 2.3.0中使用Kafka 0.8连接器吗？
浏览 14提问于2018-03-02得票数 4
按照标准的例子，卡夫卡和动物园管理员正在码头集装箱中运行。postgres正在本地运行。55=消费者-1，群55=控制台-消费者-5221连接到节点-1 (kafka/23.202.231.166:9092)。(org.apache.kafka.clients.NetworkClient) 2019-06-03 21:55:16,289警告消费者客户55=消费者-1，群55=控制台-消费者-5221连接到节点(org.apache.kafka
浏览 2提问于2019-06-04得票数 0
2回答
我的脚步1)bin/zookeeper-server-start.sh config/zookeeper.properties3)bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor当我运行1A)使用者并在生产者中输入消息时，使用者中不会出现任何消息。当我运
浏览 6提问于2017-04-03得票数 1
当在Confluent上使用Kafka时，在我的使用者(ServiceB)将消息发布到主题后，我会得到以下错误。然而，当我登录到我的合流云时，我看到消息已经成功地发布到了主题中。org.springframework.context.ApplicationContextException: Failed to start bean
'org.springframework.kafka.config.internalKafkaListenerEndpointRegistryjava.lang.IllegalStateExcepti
浏览 6提问于2019-12-05得票数 0
我想连接到卡夫卡使用端口80在我的Azure虚拟机。我在虚拟机上安装了Java和Kafka。我为端口80添加了入站端口规则。
KafkaServer id=0在KafkaServer启动期间发生致命错误。但是我不能用端口80或443连接到它。问题是，我
浏览 4提问于2020-09-04得票数 0
回答已采纳
我正在尝试使用Docker运行Kafka和Zookepper，遵循这里定义的步骤：docker run -p 2181:2181 -p 9092:9092env ADVERTISED_HOST=`docker-machine ip \`docker-machine active\`` --env ADVERTISED_PORT=9092 spotify/kafka
浏览 7提问于2018-01-07得票数 1
回答已采纳
让我们说，我刚刚推出了一个卡夫卡直接流+火花流应用程序。对于第一批，驱动程序中的流上下文连接到Kafka并获取startOffset和endOffset。然后，启动具有这些开始和结束偏移范围的火花作业，以便执行者从Kafka获取记录。我的问题从这里开始。当第二批的时间，流上下文连接到卡夫卡的开始和结束偏移范围。如果没有允许存储最后一次提交偏移值的使用者组(因为直接流没有考虑到group.id)，那么Kafka如何能够
浏览 4提问于2020-02-27得票数 0
回答已采纳
我的application.properties具有以下属性：
spring.kafka.bootstrap-servers=localhost:32202 spring.kafka.properties.schema.registry.urlspring.kafka.consumer.bootstrap-servers=consumer-localhost:32202 spring.kafka.consumer.schema.registry.url=consumer-127.0.0.1:8082 spring.
浏览 5提问于2022-11-08得票数 0
kafka-connect_1 | 2020-10-18 04:11:44,671 INFO || Kafka version: 2.5.0 [org.apache.kafka.common.utils.AppInfoParser]
kafka-connect_1 | 2020-10-18 04:11:44,672 INFO || Kafka commitId: 66563e712b0b9f84 [org.apache.kafka.common.utils.App
浏览 139提问于2020-10-18得票数 1
2回答
运行dockerize应用程序后，docker日志将显示在卡夫卡日志中，它显示了kafka-zookeeper-1 | 2021-12-07 06:17:15,755 [myid:1] - WARN [NIOWorkerThread-7:ZooKeeperServer@1411: p
浏览 16提问于2021-12-07得票数 3
场景: Apache Flink、Kafka、Protocol buffers data consumer。数据来源为协议缓冲区格式的Kafka主题(多个主题: topic#1、topic#3、topic#3)。使用者是Apache Flink使用者。每个主题都有一个独特的协议定义。ProtobufDeserializationSchema](topicList, new ProtobufDeserializationSchema(), properties)); 我正在尝试在Apache Flink中开发一个通用的数据摄取作业，将
浏览 13提问于2021-04-03得票数 0
现在，我正在试图了解是否有一个选项可以设置生产者配置的自定义值‘交货.timeout.ms’？
浏览 2提问于2020-02-13得票数 0
回答已采纳
我有一个web应用程序运行在docker容器中，一个kafka broker运行在另一个docker容器中。我正在使用码头-合成来设置码头集装箱。但是我发现要为码头容器配置网络有点困难。现在，我的web应用程序可以向kafka码头容器生成消息。但我还有另一个问题:我可以通过ifconfig docker0获得docker主机ip，并将其硬编码到dockerCompose.yml中。
浏览 1提问于2018-01-26得票数 2
1回答
将保存点添加到数据流
、、、
我有一个kafka源，我的flink应用程序从它读取数据并处理它，我想添加flink的savepoint机制，以便从它离开的最后一个地方恢复进程，而不是将savepoint添加到kafka源，我希望我的应用程序保持最后处理的流的状态我已经向kafka源文件添加了存储点，以恢复kafka流，但我想恢复已处理的数据流
DataStream<String> streamOfStrings = env.addSource(new FlinkKaf
浏览 2提问于2019-01-17得票数 0
我有用Kafka流处理的记录(使用处理器API)。假设记录有city_id和一些其他字段。
在Kafka应用程序中，我想将目标城市当前的温度添加到记录中。在Java应用程序中，我能够使用JDBC连接到Postgres，并构建new HashMap<CityId, Temperature>，因此我能够基于city_id查找温度。最初，我一直在AbstractProcessor::init()中这样做，但是这似乎是错误的，因为它是为每个线程初始
浏览 0提问于2019-05-08得票数 1
回答已采纳
到目前为止，我可以在Azure Databricks中编写代码。我想创建和部署连接到confluent kafka的库，并将数据保存到增量表。我弄糊涂了- 1]我是否需要通过如下设置从本地计算机连接到Databricks Delta，使用python将流存储到增量或将流存储到本地增量(我可以创建增量表
spark = pyspark.sql.SparkSession.builder.appNamespark.sql.catalog.spark_cata
浏览 0提问于2021-01-08得票数 1
电流配置
应用程序运行在应用程序中的Flink 1.14.4上，数据流(由长链操作符产生)间隔连接到一个Kafka源。事件时戳每个分区严格上升。卡夫卡上的每分区水印策略将水印设置到它迄今看到的最大时间戳(有界无序=1秒)。默认情况下， Kafka源(间隔连接的右侧)比其他数据流(kafka > source )每1分钟生成一次数据，因此它的分区最多可被视为空闲59秒。因此，数据流中的所有记录都被删除，因为它的时
浏览 12提问于2022-06-17得票数 0
回答已采纳
给定来自Kafka的数据流，是否有内置的方法，或者执行SQL查找的最有效方法是什么。 例如，将流对象连接到sql表，并将其与Kafka数据流连接。给定可以在自组织基础上更新的sql表，
浏览 16提问于2020-04-15得票数 0
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
