我正在尝试通过sparkstructuredstreaming从Kafka中读取数据。但是,在Spark 2.4.0.中,您不能为流设置组id (参见How to set group.id for consumer group in kafka data source in Structured然而,由于没有设置,spark只是生成组Id,而我停留在GroupAuthorizationExcep
我想使用Sparkstructured来聚合从RabbitMQ消费的数据。我知道与apache kafka有官方的spark结构化流媒体集成,我想知道是否也存在与RabbitMQ的集成?由于我不能切换现有的消息传递系统(RabbitMQ),我想使用kafka-connect在消息传递系统(Rabbit to kafka)之间移动数据,然后使用Sparkstructure
我想从Kafka主题中读取使用Python的Sparkstreaming的值。我使用的是带有spark-streaming-kafka-0-8支持的DStream应用程序接口(尽管已被弃用)。我的代码如下: from pyspark import SparkContext, SparkConf
from pyspark.streaming import Stre
我在使用SBT编译的代码(来自Kafka的wordCount)中有这个错误 [error] /home/hduser/sbt_project/project1/src/main/scala/sparkKafka.scala:4:35: object kafka is not a member of package org.apache.spark.streaming`
[error] i