kafka 0.10.1使用哪个消费者API？

kafka 0.10.1使用的消费者API是高级消费者API。这个API提供了更高级的消费者功能，包括自动管理分区分配、自动提交偏移量、并发消费等。它适用于需要更多控制和灵活性的消费者应用程序。在腾讯云中，推荐使用消息队列 CKafka 作为 Kafka 的托管服务，它提供了高可靠、高可扩展的消息队列服务，适用于大规模数据流处理、日志收集、实时计算等场景。您可以在腾讯云 CKafka 产品介绍页面了解更多信息：https://cloud.tencent.com/product/ckafka

kafka 0.10.1使用哪个消费者API？

apache-kafka、kafka-consumer-api、apache-kafka-streams

我刚接触卡夫卡，我有一个卡夫卡领导者version 0.10.0和一个动物园管理员version 3.4.6.There是我遇到的两种类型的卡夫卡消费者应用程序接口：2. Kafka Streams 我找不到这两者之间的显著区别。Kafka polling和Kafka流媒体消费者有什么区别?适用于两者的用例有哪些？

浏览 10提问于2017-02-01得票数 2

回答已采纳

3回答

Pyspark结构化流Kafka配置错误

apache-spark、pyspark、apache-kafka、apache-spark-sql、spark-structured-streaming

我之前已经成功地使用了pyspark for Spark Streaming (Spark 2.0.2)和Kafka (0.10.1.0)，但我的目的更适合于结构化流媒体。我尝试在线使用示例：ds1 = spark .format("kafka").option("parti

浏览 2提问于2017-07-07得票数 1

1回答

什么时候卡夫卡连接需要ZooKeeper配置？

java、console、apache-kafka、apache-zookeeper

/kafka-console-consumer.sh --zookeeper myzk.example.com:2181 --topic mytopic props.put("bootstrap.servers", "kafka.example.comlinger.ms", 1);

浏览 3提问于2016-11-10得票数 3

回答已采纳

1回答

与多个不同版本的kafka集群通信

java、apache-kafka、kafka-consumer-api、kafka-producer-api

我有两个kafka集群，版本分别是0.8.2.1和0.10.1。有没有办法在同一个java代码中同时使用这两个客户端。我使用maven作为我的构建工具。

浏览 12提问于2017-03-14得票数 1

2回答

无法在卡夫卡火花流中使用属性“max.poll.interval.ms”

apache-spark、apache-kafka

我正在使用火花流()读取大约100万张卡夫卡的记录/批次，并对数据进行一些分析，这需要花费大约13-15分钟的时间来处理。我不能使用这个属性。我使用的是Kafka版本(0.10.1.0)。谢谢!

浏览 0提问于2018-10-26得票数 2

2回答

在Java中手动提交Kafka偏移量

java、apache-kafka、kafka-consumer-api

我有一种情况(不要问)，我有需要从外部服务提交给Kafka的偏移量信息(主题、分区、偏移量)。

浏览 0提问于2018-10-31得票数 2

1回答

kafka主题分区再平衡通知

apache-kafka、kafka-consumer-api

我用的是Kafka 0.8.1.1 有什么API (回调等)吗？使用哪个lost partitions或newly added partitions可以找到一个消费者？

浏览 2提问于2015-08-07得票数 2

2回答

Kafka -本地状态存储是否消耗应用程序内存(JVM)

java、apache-kafka、apache-kafka-streams、spring-kafka

我有一个消费者API线程运行在我的应用程序中(运行在不同的节点上)，我的目标是消费来自Kafka的传入记录，它将具有唯一的id作为键。寻找一个选项来存储由Kafka消费者API处理的记录，以便我的订单可以使用它来显示。计划在Kafka broker上使用Stream API处理并创建Ktable。如果我选择使用持久状态存储，它是否仍然消耗我的本地应用程序内存？如果是这样的话，是不是就像是临时的，记

浏览 3提问于2020-07-20得票数 0

2回答

需要识别空闲的kafka消费者

apache-kafka

我有3个拥有相同组id的spark-streaming消费者订阅了一个只有一个分区的Kafka主题。因此，一个分区被分配给一个消费者，而其他消费者是空闲的。我们需要杀死那些无所事事的消费者。我们将Spark与纱线结合使用。kafka有没有什么命令可以检查哪个消费者是空闲的，或者有没有其他我们可以实现的命令？

浏览 1提问于2019-11-26得票数 0

1回答

Akka streams Kafka消费者进程并行

apache-kafka、akka、akka-stream、alpakka、akka-kafka

我正在开发一个使用Akka Kafka连接器的Kafka消费者应用程序。我希望消费者并行处理消息。我应该选择哪个消费群体？？如何在消费者端配置并行度？

浏览 16提问于2020-05-06得票数 0

3回答

补偿储存在动物园管理员还是卡夫卡？

node.js、apache-kafka、apache-zookeeper

我有点困惑，当使用卡夫卡和动物园管理员时，偏移被存储在哪里。在某些情况下，补偿似乎存储在动物园管理员中，而在其他情况下，它们存储在卡夫卡中。我使用我的NodeJS应用程序中的kafka节点连接到kafka

浏览 0提问于2016-12-14得票数 46

回答已采纳

3回答

使用开源工具监控Kafka

apache-kafka

有没有开源工具来监控融合的Kafka？大多数可用的开源工具都是特定于Apache Kafka的，但不是针对Confluent Kafka的。我们希望至少监控连接器、流和集群的运行状况

浏览 3提问于2017-07-04得票数 0

1回答

微软Azure事件中心卡夫卡版

azure、apache-kafka、azure-eventhub

我们使用Microsoft事件中心端点作为Kafka集群。应该使用哪个版本的Kafka客户(生产者和消费者)与事件中心进行交互？

浏览 2提问于2022-04-21得票数 0

回答已采纳

1回答

卡夫卡镜子制造商0.10.2.0不起作用

apache-kafka

我使用卡夫卡0.10.2.0，我试图使用卡夫卡镜子制造者选项。producer.properties：auto.create.topics.enable=trueopt/kafka/bin/kafka-run-class.sh kafka.tools.Mir

浏览 5提问于2017-04-16得票数 0

回答已采纳

3回答

Broker (Kafka和RabbitMQ)

rabbitmq、apache-kafka

在讨论卡夫卡和RabbitMQ的区别时，“哑巴经纪人”和“智能经纪人”在与消费者的互动中不断出现。卡夫卡被描述为有一个愚蠢的经纪人，而RabbitMQ据说有一个聪明的经纪人/愚蠢的消费者模型。

浏览 5提问于2017-08-28得票数 11

2回答

如何使用direct stream在Kafka Spark Streaming中指定消费群

java、apache-spark、apache-kafka、spark-streaming、kafka-consumer-api

如何使用直播流API指定kafka spark流的消费组id。使用spark1.3 kafkaParams.put("group.id", "app1");

浏览 0提问于2016-04-09得票数 7

回答已采纳

2回答

不使用zookeeper使用java api创建Kafka主题

java、apache-kafka

如何使用java为kafka 0.10.1.x创建无zookeeper依赖的kafka topic？我见过创建主题的线程，但它使用zookeeper，zk客户端等。我想只使用java，没有scala依赖，因为kafka 0.10已经不使用zookeeper。

浏览 1提问于2017-12-11得票数 0

1回答

如何找到卡夫卡中某个主题的哪个分区？

java、apache-kafka、kafka-consumer-api、apache-zookeeper

我正在构建一个kafka manager tool，我需要检查哪个主题分区被分配给消费者组中的哪个使用者。假设有消费者组group-A使用n partitions的主题topic-A，那么在group-A中可以有多个用户托管在different VM's中。那么，如何找到分配给哪个使用者主机的分区呢？在kafka 0.9.1中有可能吗提前谢谢。

浏览 3提问于2016-09-06得票数 8

回答已采纳

1回答