"log.retention.bytes“是我们用来保留主题消息日志的参数,我给出的值为1073741824。
我参考了卡夫卡文档,它说"log.retention.bytes“中给出的大小是每个分区,所以这意味着假设我使用的所有主题都有20个分区,那么根据文档,卡夫卡将保留的字节的总大小是20*1073741824。
但我需要的是清晰
Will Kafka retain 20*1073741824 bytes for all the topics?
(or)
Will Kafka retain 20*1073741824 bytes
我正在尝试从kafka-console-producer.sh发送消息,这是
#!/bin/bash
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-Xmx512M"
fi
exec $(dirname $0)/kafka-run-class.sh kafka.tools.ConsoleProducer "$@"
我正在粘贴信息然后通过Putty终端。在接收端,我看到消息被截断到大约4096字节。我看不出卡夫卡的任何地方,这个限制已经设定了。
我正在尝试将asyncio功能集成到我的kafka主题侦听器中,并且遇到了一些问题(在python中异步编程非常新)。
我创建了一个confluent-kafka consumer,用于收听一个主题。主题经常有消息,性能是最重要的(因此引入了异步io)。
main()函数如下所示:
def main(self):
while True:
try:
msg = consumer.poll(timeout=5.0)
if msg is None:
continue
as
例如,我有一个雇员POJO:
public class Employee {
private int id;
private String name;
}
我想把这个发送到一个有多个分区的Kafka主题。因此,我可以使用id字段作为键来选择正确的分区。我可以创建一个ProducerRecord,如下所示:
ProducerRecord<Integer, Employee> record = new ProducerRecord<>("topic", employee.getId(), employee);
这将向Kafka发送一条消息,其中键作为
我正在尝试理解一个卡夫卡制作人是如何工作的。下面是我用来发送消息的python生成器代码。我首先启动了Kafka控制台使用者,然后运行python代码。 from confluent_kafka import Producer
from Product import Product
from faker import Faker
if __name__ == '__main__':
config = {
"bootstrap.servers":"localhost:9092"
}
produce