我正在尝试通过sparkstructuredstreaming从Kafka中读取数据。但是,在Spark 2.4.0.中,您不能为流设置组id (参见How to set group.id for consumer group in kafka data source in Structured然而,由于没有设置,spark只是生成组Id,而我停留在GroupAuthorizationException: 19&
我想使用Sparkstructured来聚合从RabbitMQ消费的数据。我知道与apache kafka有官方的spark结构化流媒体集成,我想知道是否也存在与RabbitMQ的集成?由于我不能切换现有的消息传递系统(RabbitMQ),我想使用kafka-connect在消息传递系统(Rabbit to kafka)之间移动数据,然后使用Sparkstructured <e