我在服务器(12.255.123.789)中运行一个消费者服务。集群中有三台kafka服务器(XX.XXX.XXX.123,XX.XXX.XXX.124,XX.XXX.XXX.125),三台zookeeper服务器(YY.YYY.YYY.123,YY.YYY.YYY.124,YY.YYY.YY.125)正在运行。我的使用者属性是 spring.kafka.consumer.bootstrap-servers=XX.XXX.XXX.123:9092,XX.XXX.XXX.124:9092,XX.XXX.XXX.125:9092
spring.kafka.consumer.group-id: p
我是spark和kafka的新手。使用从免费kafka服务器提供商(Cloudkarafka)创建的Kafka服务器来使用数据。在运行pyspark代码(在databricks上)以使用流数据时,流只是保持初始化,并且不获取任何内容。它既不会失败,也不会停止执行,只是一直将状态显示为“正在初始化流”。
代码:
from pyspark.sql.functions import col
kafkaServer="<server>"
editsDF=(spark.readStream
.format("kafka")
我试图从syslog服务器上设置一个用于源数据的flume代理。基本上,我已经在一个所谓的syslog服务器(server1)上设置了一个syslog服务器,以接收syslog事件,然后将所有消息转发到安装了flume代理的不同服务器(server2),然后所有数据最终都将汇到kafka集群。
水槽配置如下。
# For each one of the sources, the type is defined
agent.sources.syslogSrc.type = syslogudp
agent.sources.syslogSrc.port = 9090
agent.sources.sy
Kafka服务器无法通过confluent start命令启动。
命令行:
~]# sudo confluent start
zookeeper is already running. Try restarting if needed
启动kafka
-Kafka failed to start
kafka is [DOWN]
Cannot start Schema Registry, Kafka Server is not running. Check your deployment
我用码头,一个是养动物园的,另一个是卡夫卡,我用的是船坞。
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
23dbed8536dc dc62102ccd75 "/opt/startkafka.sh" 4 minutes ago Up 4 minutes