我有一个练习,实现一个服务,从Kafka获取数据,处理它,并使用Spark Streaming将结果存储到elasticsearch中。我可以从Kafka获取数据到我的服务中,并在Spark集群中处理它,但我不知道如何在操作中将结果持久化到elasticsearch中。Process event t here // here I want to persist the re
为此,我将RDD转换为dataset,因为从RDD,我们不能直接获得拼花表单。而对于创建数据集,我们需要使用隐式编码器,否则,它就会产生编译时错误。我只在这方面有几个问题。以下是我的代码: val ds: Datasetds.write .parquet(configuration.outputPath)