如何在scala spark中将两个json结果合并为一个数据帧

在Scala Spark中将两个JSON结果合并为一个数据帧可以通过以下步骤实现：

导入必要的Spark相关库和类：

import org.apache.spark.sql.{SparkSession, DataFrame}
import org.apache.spark.sql.functions._

创建SparkSession对象：

val spark = SparkSession.builder()
  .appName("Merge JSON DataFrames")
  .getOrCreate()

定义两个JSON字符串：

val json1 = """
  {"id": 1, "name": "John", "age": 25}
  {"id": 2, "name": "Jane", "age": 30}
"""

val json2 = """
  {"id": 3, "name": "Bob", "age": 35}
  {"id": 4, "name": "Alice", "age": 28}
"""

将JSON字符串转换为数据帧：

val df1 = spark.read.json(Seq(json1).toDS())
val df2 = spark.read.json(Seq(json2).toDS())

合并两个数据帧：

val mergedDF = df1.union(df2)

显示合并后的数据帧：

mergedDF.show()

完整代码示例：

import org.apache.spark.sql.{SparkSession, DataFrame}
import org.apache.spark.sql.functions._

val spark = SparkSession.builder()
  .appName("Merge JSON DataFrames")
  .getOrCreate()

val json1 = """
  {"id": 1, "name": "John", "age": 25}
  {"id": 2, "name": "Jane", "age": 30}
"""

val json2 = """
  {"id": 3, "name": "Bob", "age": 35}
  {"id": 4, "name": "Alice", "age": 28}
"""

val df1 = spark.read.json(Seq(json1).toDS())
val df2 = spark.read.json(Seq(json2).toDS())

val mergedDF = df1.union(df2)

mergedDF.show()

这样就可以将两个JSON结果合并为一个数据帧。请注意，这只是一个简单的示例，实际应用中可能需要根据具体情况进行适当的调整和处理。