如何将多个Spark数据帧转换为数据集[Map[String，Array]]？

import org.apache.spark.sql.{DataFrame, SparkSession}

// 创建SparkSession
val spark = SparkSession.builder()
  .appName("DataFrame to Dataset")
  .master("local")
  .getOrCreate()

// 创建空的数据集
val dataset = spark.emptyDataset[Map[String, Array[Any]]]

// 创建多个Spark数据帧
val dataFrame1: DataFrame = ...
val dataFrame2: DataFrame = ...
val dataFrame3: DataFrame = ...

// 遍历每个数据帧，将其转换为Map[String, Array]并添加到数据集中
val newData = dataset.union(
  dataFrame1.rdd.map(row => {
    val columns = dataFrame1.columns
    val values = row.toSeq.toArray
    columns.zip(values).toMap
  })
).union(
  dataFrame2.rdd.map(row => {
    val columns = dataFrame2.columns
    val values = row.toSeq.toArray
    columns.zip(values).toMap
  })
).union(
  dataFrame3.rdd.map(row => {
    val columns = dataFrame3.columns
    val values = row.toSeq.toArray
    columns.zip(values).toMap
  })
)

// 打印数据集内容
newData.show()