我正试着在AWS上连接卡夫卡。通信是通过TLS完成的。使用Kafka-python==2.0.2,KafkaProducer配置如下:
From Kafka import KafkaProducer
producer = KafkaProducer(
bootstrap_servers=boostrap_servers, # I have three brokers in my Kafka cluster.
security_protocol='SSL',
ssl_check_hostname=False,
ssl_cafile=ssl_ca
我想知道如何验证与kafka的连接:让我更好地解释:
我有一个KafkaConsumer正在等待消费消息,让我们假设kafka连接同时关闭。当我试图在我的消费者上使用我的迭代的消息时,连接丢失了,它将继续异常。
有什么方法可以检查连接吗?我使用的是kafka-python版本1.3.3。
这是一段代码:
consumer = KafkaConsumer(....)
for msg in consumer:
DO....
这是我在迭代过程中的执行:
getaddrinfo failed for kafka:9092, exception was [Errno -2] Name or se
我已经设置了一个heroku kafka实例,并且我正在尝试使用python使用者连接到它。我通过heroku config -s > .env将heroku环境放在一个名为.env的文件中,然后在运行这个python程序之前加载并导出它:
import os
from kafka import KafkaConsumer
for variable in ['KAFKA_TRUSTED_CERT', 'KAFKA_CLIENT_CERT', 'KAFKA_CLIENT_CERT_KEY']:
with open(f'{v
我正在编写一个python程序来连接Kafka和读/写消息。
执行python3 producer.py时的生产者错误
File "/opt/local/bgdatapp/anaconda3/lib/python3.7/site-packages/kafka/conn.py", line 255, in init
assert gssapi is not None, 'GSSAPI lib not available'
AssertionError: GSSAPI lib not available
Exception ignored in: <f
嗨,我尝试了多个对接图像,如Ubuntu和python:3.8-高山等。在任何地方,当我试图通过pykafka库连接到我的kafka集群(2.7)时,都会出现如下错误。
环境信息:
kafka server : 2.7 (installed via strimzi kafka in EKS)
kafka clinet: pykafka (2.8.0)
python version: 3.8, 3.7 in all version i get same error
注意:只有当代码运行在容器内部时,当我从机器上运行时,即直接从机器运行时,才会发生此错误。
INFO:pykafka.topic:C
我正在尝试通过Cloudera Data Science Workbench在我们内部的Hadoop集群上实现GitHub项目()。
在Cloudera Data Science Workbench上运行该项目时,当尝试通过Python api KafkaProducer(bootstrap_servers='broker1:9092') 连接到Kafka时,我收到错误消息"No Brokers“。
我已经使用Kerberos进行了身份验证。我已经尝试给出没有端口号的代理节点,也可以作为一个列表。但是,到目前为止,什么都没有奏效。
下面是堆栈跟踪。
NoBrokersA