如果我在x个分区上创建一个主题，然后发送500比特的数据，编号为1到500，我希望能以发送的顺序返回数据。只有当x为1，即单个分区时，才会发生这种情况。我宁愿认为分区是一种寻找事物的效率，显然我错了？如果x大于1，即多个分区，我会找回所有的数据，但一个分区等于一个time...which对我没有好处。显然，数据在每个分区中以偏移量顺序返回，但数据
浏览 19提问于2018-08-08得票数 0
对于是否有效或不使用带偶数的kafka集群，我们并不感到困惑。所以我们怀疑卡夫卡机器的偶数
那么使用卡夫卡偶数是对还是错呢？
浏览 5提问于2020-01-23得票数 0
回答已采纳
2回答
我得到这个错误：Too many open files。我也不知道原因。/kafka/logs (kafka.server.LogD) at kafka.log.Log./kafka&#x
浏览 102提问于2018-08-27得票数 2
回答已采纳
我有一个令人费解的问题，我的samza任务之一。除了一个分区上的消息外，它正常工作。我在这个主题上有9个分区。如果我发送1000条信息，我只收到其中的890条。我已经向kafka- console --使用分区键(我知道我的samza作业没有处理)检查过，控制台使用者确实看到了消息，所以我知道
浏览 2提问于2016-04-25得票数 2
回答已采纳
在我的Spring Boot Kafka应用程序中，我有以下使用者配置：public ConsumerFactory<String, Post> postConsumerFactory(KafkaPropertiesfactory.setConsumerFactory(postConsumerFactory(kafkaProperties));
}@KafkaListener(topics = "${kafka.t
浏览 2提问于2018-08-02得票数 4
回答已采纳
我正在尝试运行一个用Java编写的Spark Kafka Job，以每批产生大约10K条记录到Kafka主题。这是一个spark批处理作业，它在循环中顺序读取100个(总共100万条记录) hdfs零件文件，并批量生成10K条记录的每个零件文件。我正在使用org.apache.kafka.clients.producer.KafkaProducer接口org.apache.kafka.common.KafkaException:
浏览 0提问于2020-06-03得票数 0
1回答
我有两个分区的主题，在我的spring boot应用程序中，我用ConcurrentKafkaListenerContainer和setConcurrency(3)配置了kafka。，在我的例子中，主题只有2个分区KafkaListenerEndpointContainer#0-0-C-1获得分区0，KafkaListenerEndpointContainer#0-1-C-1获得分区</em
浏览 0提问于2021-04-21得票数 0
我设置了log.retention.bytes=1073741824、retention.bytes=1073741824、partitions=3和log.cleanup.policy=delete，我可以配置kafka来回收磁盘空间吗？
浏览 3提问于2017-09-15得票数 0
我正在介绍kafka，我想知道如何像这样使用从topic中的分区到ClickHouse表的消息：
当我有3个主题时，很容易将每个主题的表连接起来 kafka_topic_list = 'topic1',
kafka
浏览 1提问于2019-01-15得票数 0
2回答
spark流中奇怪的延迟
、、、、
我最近一直在使用spark streaming来处理kafka中的数据。大多数情况下，数据处理在1-5秒内完成。然而，在几个批次之后，它连续花费了41 ~ 45秒，并且大部分延迟发生在从stage0获取数据的区域。我意外地发现Kafka的request.timemout.ms默认设置为40秒，并将此设置更改为10秒。
然后，我重新启动了应用程序，并观察到批处理在11到15秒内完
浏览 2提问于2017-01-18得票数 4
我正在学习卡夫卡，在这里阅读导言一节
卡夫卡做得更好。通过在主题中具有并行性--分区--的概念，Kafka能够为用户进程池提供排序保证和负载平衡。这是通过将主题中的分区分配给使用者组中的使用者来实现的，这样每个分区就会被组中的一个消费者使用。我的困惑源于最后一句，因为
浏览 2提问于2014-09-17得票数 102
回答已采纳
我想知道Kafka是如何使用开放文件描述符的。为什么建议有大量的打开文件描述符。它会影响生产者和消费者的吞吐量吗？
浏览 0提问于2018-03-09得票数 3
2回答
我是Kafka Streams的新手，我目前对Kafka Streams应用程序的最大并行度感到困惑。我通过下面的链接，没有得到我想要的答案。如果我有2个输入主题，一个有10个分区，另一个有5个分区，并且只有一个Kafka Streams应用程序实例正在运行来处理这两个输入主题，那么在这种情况下，我可以拥有的最大线程数是多少?
浏览 4提问于2018-01-05得票数 9
回答已采纳
很抱歉，我张贴了一个与卡夫卡图书馆有关的问题，因为没有多少人对图书馆的具体问题感兴趣。但是这个库是用于golang实现的最常用的库之一。我想使用Sarama库创建一个简单的使用者，它可以收听一个主题。现在，据我所知，在高级Kafka API中，如果没有指定特定分区，默认情况下，使用者会侦听所有主题分区。职能的签名是：
ConsumePartition(topic string, p
浏览 4提问于2017-05-31得票数 2
2回答
我有一个带有复制因子1的3 broker Kafka集群，我知道我可以通过将带有分区重新分配配置的JSON文件传递给kafka-reassign-partitions.sh来增加它。我的困惑是，应该传递一个包含所有主题的分区重新分配细节的单个JSON文件，还是为每个主题创建一个JSON并单独运行它们？
浏览 0提问于2018-10-04得票数 2
回答已采纳
我通过下面提到的Java代码创建了具有多个分区的主题。zkutils, topic, totalPartionCount, replicationFactor, new Properties()); }
一旦java代码成功运行，我检查了kafka控制台使用的主题描述
org@org-VirtualBox:~/Downloads/kafka_2.9.2-0.8.1$ bin&#x
浏览 0提问于2016-04-29得票数 1
当我描述一个kafka主题时，它没有显示任何分区的日志结束偏移量，而是显示了所有其他元数据，如ISR、副本、Leader。运行这个：./kafka-topics.sh --zookeeper zk-service:2181 --describe --topic "__consumer_offsets“
输出没有偏移量列。
浏览 0提问于2019-05-20得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
