我在spark Dataframe中有一个"StructType“列,它有一个数组和一个字符串作为子字段。我想修改数组并返回相同类型的新列。我能用UDF处理它吗?或者,还有其他选择吗?import org.apache.spark.sql.types._val sub_schema = StructType(StructField,类似于
val u = udf((x:Row) => x
我使用Spark SQL创建了一个名为todays_ids和previous_days_ids的ID数组。我希望能够直接使用Spark SQL将这些ID数组转换为集合,然后计算一列的ID与另一列的ID之间的差异。到目前为止,我已经使用了UDF:... query to generate today and previous day's ID array columns