("collection", collectionName).load() 对于结果DataFrame中的data列,我得到以下类型: StructType(StructField(configurationName因此,在某些列中至少有一些类型是NullType。根据Writing null values to Parquet in Spark when the NullType is inside a StructType,我尝试通过将所
我可以用一个数据类型为Map的列创建一个新的Dataframe。我正在尝试使用spark withColumn方法来添加这个新列。当我在tmp列上应用.isEmpty方法时,出现了问题。我得到了空指针异常。$2.apply(ScalaUDF.scala:107)
at org.apache.spark.sql.catalyst.expressions.ScalaUDF.eval(ScalaUDF.scal