1回答
我已经将kafka连接到mysql。该主题包含AVRO格式的数据。现在，我想将该数据转换为CSV格式。为此，我使用了KSQL流。当我像这样创建流时(如果我用相同的主题运行消费者命令遵循步骤
请帮助解决从AVRO到CSV<
浏览 1提问于2019-04-23得票数 1
1回答
我在java中使用Kafka，我使用JSON消息作为字符串，速度是每分钟一百万条消息，我需要拆分字符串，只取一些值，并将其保存到CSV中，以将其加载到数据库中，我如何才能做出这样的事情？
浏览 7提问于2020-05-20得票数 0
我做过一些Kafka流应用程序和Kafka消费者应用程序。归根结底，Kafka流只是消费者，它消费来自Kafka的实时事件。所以我不知道什么时候使用Kafka streams，或者为什么我们应该使用Kafka streams，因为我们可以在消费者端执行所有的转换。我想了解Kafka stream和Kafka consumer之间
浏览 4提问于2019-12-04得票数 4
1回答
我有一个场景，我的kafka消息(来自同一主题)流经单个丰富管道，并在最后写入HDFS和MongoDB。我的Kafka consumer for HDFS将每小时运行一次(用于微批处理)。因此，我需要知道根据流文件来自哪个消费者( HDFS消费者或Mongo DB消费者)，将流文件路由到putHDFS和putMongo的最佳方式。
浏览 1提问于2019-03-22得票数 0
我是PySpark的新手，我在我的Ubuntu14.04上安装了Kafka单节点和单代理。安装完成后，我测试了使用kafka-console-producer和kafka-console-consume发送和接收数据的Kafka。Good morning this is test mes
浏览 24提问于2016-09-27得票数 1
2回答
把CSV从Kafka发送到火花流
、、、、
我试图发送一个csv文件从kafka到一个火花流应用程序，我不知道如何做。我在这里读了很多帖子，但没有人帮我。message =sc.textFile("/home/guest/host/Seeds.csv"
浏览 1提问于2017-05-01得票数 1
回答已采纳
我使用的是Python语言。我有csv文件，我需要转换成json，然后发送到kafka，然后发送到ElasticSearch。
我能够将Csv转换为Json并发送给kafka消费者。如何从Kafka Consumer获取数据到ElasticSearch
浏览 0提问于2018-12-06得票数 3
我一直在玩spring云流(1.0.BUILD-使用kafka绑定程序的快照)，并注意到在离线的消费者中，发送的任何消息都会丢失。当我启动消费者时，它不会处理发送给kafka的积压请求。这是故意的吗？
浏览 0提问于2016-03-06得票数 4
回答已采纳
我的卡夫卡主题在特定的时间包含了如下信息：ton,33,2018每当我使用kafka的数据时，我都想跳过标题部分。我的星星之火结构流消费者如下；
val inter
浏览 0提问于2019-01-29得票数 1
回答已采纳
在我们的事务处理系统中实现了kafka流处理。该解决方案实现如下：
Kafka producer将事件发布到kafka topic，流处理器处理输入事件并进行聚合操作。流处理完成后，该事件将发布到另一个主题。由于第一个topic中没有实现消费者，如何从第一个topic中移除已处理的消息。
浏览 0提问于2017-08-14得票数 1
1回答
我做了一个poc，在其中我使用火花流读取来自Kafka的数据。但是我们的组织要么使用Apache或者Kafka使用者来读取Apache中的数据作为一个标准过程。所以我需要用Kafka消费者或者Apache来代替Kafka流媒体。在我的应用程序用例中，我需要从kafka读取数据，过滤json数据，并在cassandra中放置字段，因此建议使用Kafka使用者，而不是flink
浏览 4提问于2017-03-26得票数 0
我是卡夫卡流的新手。我想知道使用kafka流API而不是使用标准kafka生产者/消费者API和用Java在消费者中进行流处理会带来什么好处。
浏览 4提问于2022-04-25得票数 0
回答已采纳
3回答
消费者和流的区别是什么？对我来说，如果有任何工具/应用程序使用来自Kafka的消息，那么在Kafka世界中，它就是一个消费者。
我做了谷歌这个，但没有得到任何好的
浏览 2提问于2017-05-17得票数 158
回答已采纳
我有一个关于将数据下沉到Kafka主题中的流作业和另一个消耗kafka主题中的数据的流作业。我的Kafka集群的分区号配置为3。当我将作业的并行度设置为4时，只有3个插槽在忙于生成数据，并且只有3个消费者子任务获得了数据。 考虑到任务槽数量的限制，我想将并行性改为1。但是，当我将作业的并行度设置为1时，只有1 consumer
浏览 230提问于2021-06-16得票数 0
回答已采纳
Memgraph是否充当Kafka的流源的接收器，然后一旦接收到消息，将它们组织到一个图形数据库中？如果是，这些消息是如何组织的。我不明白如何将消息从它们在特定主题中的格式转换为图形数据库可以理解的内容，比如Memgraph。
浏览 1提问于2022-09-28得票数 0
回答已采纳
1回答
我有一些关于卡夫卡流以及它们是如何工作的问题，我对卡夫卡的消费者和生产者范式有着丰富的经验，然而，这是我第一次尝试使用卡夫卡流。问题：
一般来说，卡夫卡消费者模型我们订阅了一个主题并开始从一个分区开始消费，为了简单起见，为了简单起见，我们有一个分区和一个消费者，现在如果我们想要增加我们的处理，我们增加了分区的数量，并且增加了更多的消费者，这在Kafka
浏览 1提问于2018-12-22得票数 1
回答已采纳
val actorSystem = ActorSystem("ReactiveKafka")val publisher: Publisher[StringConsumerRecord] = kafka.consume(ConsumerPropertieslowercaseStrings", value
浏览 7提问于2016-08-28得票数 0
回答已采纳
1回答
Kafka主题的消费者监控数量
、、、、
我们使用Prometheus和Grafana来监控我们的Kafka集群。我们没有看到任何能够给出每个主题
浏览 16提问于2018-07-20得票数 2
回答已采纳
消费者收到一个Kafka流，流中的消息需要基于一些Validator Micro服务和Enricher API调用进行丰富和验证。它还将消息持久化到数据库中。流程是这样的- Kafka Stream consumer ->每个消息->调用Rule Validator Rest API ->调用富API ->通过持久化REST API保存到数据库。因为所有的REST调用都是同步的，并且在调用最终的</em
浏览 0提问于2020-03-22得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
