我已经编写了一个数据集火花作业(批处理)代码来扁平化数据,它工作得很好,但是当我试图在火花流作业中使用相同的代码片段时,它抛出了以下错误:必须用writeStream.start()执行流源查询; 那么,有没有办法在流式作业中扁平化嵌套的JSON呢?return flattenJSONdf(exploded_ds);
S
我想将包含自定义类的星火DataFrame作为一个列保存(作为一个拼花文件)。该类由另一个自定义类的Seq组成。at scala.collection.IterableLike$class.foreach(IterableLike.scala:72) at org.apache.spark.sql.types.StructType.foreach(StructType.scala:92) at scala.collection.TraversableL