1回答
Kafka数据流ID
、、、
我是Kafka的新手，正在尝试建立一个管道，将我的apache httpd日志连接到mongodb。 我有用Kafka Output从Filebeat产生的数据。然后使用Kafka Connect to a database (MongoDB)将数据下沉。不幸的是，我的Filebeat中的数据没有ID。我如何为它们创建ID，因为我希望在将文档沉入mongodb之前创建一个唯一的ID并将其插入文档中？我希望这可以在mapValues转换中实现；
浏览 16提问于2019-02-08得票数 0
回答已采纳
我正在尝试使用python code.My代码中的kafka.ReadFromKafka()方法读取kafka主题中的数据，如下所示：import apache_beam as beam
plants = ( | 'read' >
浏览 1提问于2020-07-07得票数 0
我在一个独立的服务器上安装kafka，并尝试将数据流式传输到mongodb。当启动kafka服务bin/kafka-server-start.sh config/server.properties时，我收到一个警告: WARN试图通过没有打开的连接的通道发送响应，连接id为0(kafka.network.Processor)有人可以帮助解决
浏览 1提问于2017-10-03得票数 5
1回答
我正在使用Spark3.3.0和Kafka3.2.0。我希望在readStream中使用组id，但是当spark没有运行时，数据丢失了。当火花停止时，我如何停止数据流？我的代码； .format("kafka") .option("subscribe", "topic-name"
浏览 5提问于2022-08-31得票数 0
有没有办法将Kafka连接成Google数据流中的接收器？我知道我们可以在发布/订阅和Kafka中使用CloudPubSubConnector，但我不想在数据流和Kafka之间使用发布/订阅。
浏览 20提问于2018-03-06得票数 0
回答已采纳
我正在使用数据流kafka到bigquery模板。启动数据流作业后，它会在队列中停留一段时间，然后失败，出现以下错误：在应聘工作时，我提供了以下参数：
kafka主题名引导服务器ip和端口(私有ip)bigquery主题名SA，子网(运行kafka</e
浏览 3提问于2020-12-07得票数 0
我正在尝试配置分布式Kafka connect，但在Azure HD Insight中找不到任何用于配置Kafka connect的jars。
你能帮我解决上面的问题吗？
浏览 14提问于2021-06-01得票数 0
1回答
我想从kafka中读取结构化的流数据作为数据流，对于每个数据，我想用许多函数来处理它，所以我尝试缓存数据流。lines = spark\ .format("kafka")\
.option("kafka.bootstrap.servers", bootstrapServers
浏览 0提问于2018-01-11得票数 0
我正在使用带有更新模式的结构化数据流从kafka主题中读取数据流，然后进行一些转换。 然后，我创建了一个jdbc接收器来使用Append模式将数据推送到mysql接收器中。val df: DataFrame = spark .format("kafka")
// window aggregati
浏览 6提问于2019-05-02得票数 1
回答已采纳
给定来自Kafka的数据流，是否有内置的方法，或者执行SQL查找的最有效方法是什么。 例如，将流对象连接到sql表，并将其与Kafka数据流连接。给定可以在自组织基础上更新的sql表，
浏览 16提问于2020-04-15得票数 0
回答已采纳
为什么你用卡夫卡来谈论数据流。也许有人能告诉我术语数据流在Kafka中的真正含义。顺便说一句，我知道在Kafka中有生产者和消费者。生产者将数据发送到代理，然后代理将其发送给消费者。
浏览 0提问于2021-05-02得票数 1
1回答
我正在从Spring迁移到Spring数据流。当我寻找模块列表时，我意识到有些源没有在中列出--其中之一就是KAFKA源代码。
我的问题是为什么在春云数据流中从标准源列表中删除KAFKA源？
浏览 4提问于2016-07-24得票数 4
回答已采纳
我有以下docker-compose.yml我有数据流服务器运行，kafka，zookeeper，mysql，指标收集器。配置：(我只提供数据流-服务器(1.5.2版本)，指标收集器)指标收集器:镜像: spring.cloud.stream.kafka.binder.brokers=kafka:9092 / metrics- spring.cloud.stream.kafka.binder.zkNodes=zookeeper:2181 -kafka-10环境
浏览 0提问于2018-10-02得票数 0
1回答
将保存点添加到数据流
、、、
我有一个kafka源，我的flink应用程序从它读取数据并处理它，我想添加flink的savepoint机制，以便从它离开的最后一个地方恢复进程，而不是将savepoint添加到kafka源，我希望我的应用程序保持最后处理的流的状态我已经向kafka源文件添加了存储点，以恢复kafka流，但我想恢复已处理的数据流
DataStream<String> streamOfStrings = env.addSource(new FlinkKafkaConsumer010<>(topic
浏览 2提问于2019-01-17得票数 0
1回答
我试图用JoinBolt将两个卡夫卡数据流(使用卡夫卡喷口)连接成一个数据流，并使用下面的代码片段()
JoinBoltjoinBolt = new JoinBolt("kafka</
浏览 1提问于2018-08-22得票数 0
回答已采纳
我在我的数据流中使用"keyby“。我希望flink发现每个密钥的所有kafka分区。我有30个分区和12个任务。我通过用户id "keyby“我的数据。我认为每个任务的flink只能发现特定的kafka分区&我不能在一个任务中检测到每个用户的所有数据。
浏览 29提问于2019-10-07得票数 0
1回答
我正在使用一个数据流来写入kafka主题以及hbase。对于Kafka，我使用如下格式： .writeStream.format("kafka")
.option("kafka.bootstrap.servers", Settings.KAFKA
浏览 0提问于2017-12-26得票数 1
1回答
我一直在尝试Apache Kafka开源生产者和消费者数据流。我有一个问题，使用1.) KafkaProducer, producer.send和2.)它们不都是用于kafka流数据的吗？如果我只使用KafkaProducer, producer.send，我不能实现数据流吗？
浏览 1提问于2018-03-16得票数 0
1回答
当我们在基于某个键的流上应用group函数时，kafka如何计算这个值，因为在不同的分区中可能存在相同的键？我看到了()函数，它基本上对数据进行了重新划分，但我不明白这意味着什么。
浏览 1提问于2020-05-18得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
