Kafka消费者使用哪种语言

文章/答案/技术大牛

发布

3回答

java、node.js、apache-kafka

但是当涉及到选择一种语言来编写消费者时，我受到的约束相对较少。现在，有这么多的可以使用，我陷入了困境。为了在这里选择正确的技术，应该牢记的各种因素是什么？

浏览 16提问于2016-09-17得票数 4

1回答

发送卡夫卡信息的更好方式: JsonNode还是Map<String，UserModel>？

java、json、apache-kafka、kafka-consumer-api

我是新手使用Spring Boot的Kafka。因此，作为一个步骤，我们首先将map转换为JsonNode，然后发送JsonNode。在消费者端，我们将把这个JsonNode编写成map，然后使用。我试着发送地图，我可以通过kafka发送。当我在消费

浏览 2提问于2020-05-06得票数 0

1回答

该图像被发送给制作人卡夫卡，卡夫卡将派他的消费者在几种机器学习模型中处理它，并将响应返回给该制作人。流程：前端(img) -> ApiRest (Spring Boot) ->生产者->消费者(Python) ->向客户端返回响应。我知道我需要Kafka作为一个请求-响应，将响应返回给发出事件的客户端。我找对地方了吗？另一方面，我想知道在同一主题中使用不同语言(Java和Python)的几个使用者是否有任何问题。

浏览 26提问于2019-04-08得票数 0

2回答

kafka artifactIds kafka_2.10和kafka-clients有什么区别？

apache-kafka

以下maven对Kafka 0.9客户端API的依赖有什么不同？第1部分： <groupId>org.apache.kafka</groupId> <version>2.10.0</version>第2部分： <

浏览 1提问于2016-02-01得票数 9

1回答

使用apache spark的Kafka流媒体

apache-spark、apache-kafka、spark-streaming

我已经在本地机器上设置了apache kafka，并且工作正常，当我将一条消息发布到生产者中时，它立即在消费者提示中流动。可以从我的本地文件夹配置连续文件流吗？我该怎么做呢？

浏览 0提问于2016-07-28得票数 0

3回答

kafka客户端可以选择特定的分区进行消费吗？

apache-kafka、kafka-consumer-api

我有一个kafka客户端实例，它消耗200个分区，现在我希望它只在前3个kafka分区上消耗，用于调试和采样。有什么办法可以做到这一点吗？

浏览 1提问于2018-05-04得票数 0

2回答

如何使用python将Kafka中的数据发送到ElasticSearch

python、elasticsearch、apache-kafka、kafka-consumer-api

我使用的是Python语言。我有csv文件，我需要转换成json，然后发送到kafka，然后发送到ElasticSearch。我能够将Csv转换为Json并发送给kafka消费者。如何从Kafka Consumer获取数据到ElasticSearch

浏览 0提问于2018-12-06得票数 3

1回答

卡夫卡不同的信息消费方式--什么时候使用哪一种？

apache-kafka、kafka-consumer-api

我对消息传递和Aapache kafka.I都很陌生，我很困惑在哪种场景中使用哪些消费者API，我看到有两个客户端库可用第一个有点用ConsumerConnector consumer = kafka.consumer.Consumer.createJavaConsumerConnector... consumer.createMessageStreams

浏览 3提问于2016-12-27得票数 1

回答已采纳

2回答

R中的kafka消费者

python、r、apache-kafka

我希望一起黑客在Python或R(最好是R)的kafka消费者。使用kafka控制台使用者，我可以grep一个字符串并检索相关的数据，但是当它在R中适当地解析它时，我感到困惑。有其他语言的kafka客户端(例如: PHP、CPP)，但从数据分析的角度来看，R中的一个会很有帮助。如果这个论坛上的专家R开发人员能暗示/建议资源，让我在这个方向上取得进展，那就太好了。Apache Kafka : incubator.apache.org/

浏览 3提问于2012-02-24得票数 7

回答已采纳

1回答

Apache kafka消息调度和均衡加载

multithreading、message-queue、publish-subscribe、apache-kafka

我刚刚开始使用Apache Kafka，并且真的在尝试弄清楚，我如何才能设计我的系统来正确地使用它。我正在构建一个处理数据的系统，实际上我的数据块是一个需要处理的任务(对象)。我的系统实际上被分成3个主要组件:发布者(生成任务的代码)，传输-实际上是kafka，以及一组消费者-它实际上是从队列中提取数据的工作者，以某种方式对其进行处理。因此，我们可以从我有3个服务器的想法开始:1个单一的根发布者(kafka服务器也在那里运行)和2个实际处理任务的消费者服务器。如果每个

浏览 0提问于2014-12-15得票数 2

1回答

我可以在三台不同的机器上安装生产者、经纪人和消费者吗？

apache-kafka、kafka-producer-api

我有以下架构：我很困惑 1) whetherI can run kafka producer, broker and consumer on sepa

浏览 6提问于2015-11-02得票数 0

回答已采纳

1回答

如何在FP中保持收听？

scala、haskell

我想使用Kafka在微服务之间发送消息。它就像一个http服务器，监听传入的请求。

浏览 1提问于2017-11-10得票数 3

2回答

Kafka Kstream和Spring @KafkaListener有什么不同？

apache-kafka、spring-kafka

我对Kafka和阅读文档有点陌生。卡夫卡办公网站有一个。其中应用程序被绑定到一个主题，并且消息一到达就被处理。结果会回发到主题或数据库。Spring Kafka注解@KafkaListener具有相同的功能。例如，我尝试过。在这里，我们也会监听一个主题，并在发布内容时对其进行处理。所以我很好奇地想知道1.这2个有什么不同?2.在哪种情况下更喜欢哪一种？

浏览 5提问于2018-01-18得票数 1

2回答

Confluent的Kafka* REST代理与Kafka客户*

apache-kafka、confluent-platform、kafka-rest

我很好奇Confluent的Kafka REST代理和生产者/消费者在kafka官方客户库中实现的优缺点。我知道Confluent的Kafka REST代理用于管理任务和不受kafka客户端支持的语言。那么，卡夫卡客户的优势是什么呢？

浏览 1提问于2018-06-29得票数 4

回答已采纳

1回答

卡夫卡非动物园管理员消费者诉ZooKeeper消费者

java、apache-kafka、confluent-platform

在我浏览文档时，我遇到了以下短语bin/kafka-消费者-group.my-动物园管理员本地主机:2181-描述-分组我-组注意:这将只显示使用ZooKeeper的消费者的信息

浏览 2提问于2020-06-18得票数 0

回答已采纳

1回答

Apache Kafka* -消费者基础知识*

apache-kafka、consumer

我必须使用Apache Kafka来连接我公司的经纪人。问题是我以前从未使用过这项技术，这是我需要澄清的一点。实际上，我创建了一个带有Zookeeper / Server / Consumer的“本地”Kafka，它使用以下命令是否有必要下载整个Kafka包来创建消费者，或者是否有其

浏览 1提问于2017-05-10得票数 0

2回答

如何实现一个“趋势计数器”来使用滑动窗口来统计单词？

algorithm、redis、distributed-computing、word-count、sliding-window

例如，我有多个kafka消费者，使用单个kafka主题的不同分区。主题中的每条消息都是一个单词(字符串)。对于我的kafka主题来说，单词既是关键，也是价值。消费者将消费一条消息，并将该单词的计数器加1。我希望能够查询过去5分钟内最受欢迎的10个单词。一旦一个单词不再出现在当前窗口中，我就不想再计算它了。假设我们使用处理时间作为时间戳。语言不可知论

浏览 24提问于2019-11-19得票数 0

2回答

kafka服务器可以与dotNet一起安装吗

apache-kafka

kafka服务器可以和dotnet一起安装吗？我发现它适用于JVM。没有JVM，它能在dotnet技术堆栈中工作吗？

浏览 16提问于2019-12-09得票数 0

1回答

如何在kafka中创建新的消费群体

apache-kafka、kafka-consumer-api

然后，我在config/consumer.properties中定义了我的使用者组配置，以便我的使用者可以从定义的group.id中挑选消息bin/kafka-consumer-groups.shvia kafka-console-consumer.sh 我能够通过一个基于python的消费者连接到kafka，该消费者被配置为使用provide group.id，即test-consumer-group首先，我不能

浏览 1提问于2020-05-13得票数 5

回答已采纳

3回答

kafka中的Bootstrap server vs zookeeper？

apache-kafka、apache-zookeeper

为什么不推荐使用kafka-consumer中的zookeeper，为什么建议使用bootstrap服务器？bootstrap-server有什么优点？

浏览 0提问于2017-09-12得票数 36

回答已采纳

点击加载更多