我尝试过本教程,并成功地使用了在我工作地点的服务器上发布的kafka主题。我不是制片人,只是一个纯粹的消费者。但是,该教程中的代码将在终端中进行流。现在,我想尝试使用Python,并将消息记录到文本文件中(或类似的内容)。
这是我使用的代码,在阅读了几个线程和教程(如这里)之后:
from kafka import KafkaConsumer
bootstrap_servers = ['xxxxxx:xxxx']
topicName: = 'my_topic_name'
consumer = KafkaConsumer(topicName, group_id='group1', bootstrap_servers=bootstrap_servers, consumer_timeout_ms=1000)
for msg in consumer:
print(msg.value)
这里我想先把信息打印出来。但是,在1000 get超时之后,我得到了这个错误:
kafka.errors.NoBrokersAvailable: NoBrokersAvailable
这听起来合乎逻辑,因为需要一个代理,上面的代码似乎没有对代理做任何事情。
如果我不设置consumer_timeout_ms=1000ms
,Python控制台就会被卡住,而不会显示任何内容。
我该怎么解决这个问题?
详细信息:我正在并行地执行以下操作:
在一个终点站运行动物园管理员
2-在另一个终端运行kafka集群
3-使用命令kafka-consumer-console
将主题(很好地)流到另一个终端中
4-在另一个终端中,运行这个问题中的Python代码。
所有这些终端都是WLS2 (Windows)中的Ubuntu。
https://stackoverflow.com/questions/67893882
复制相似问题