Spark -如何从S3读取多个带有文件名的Json文件

import org.apache.spark.sql.SparkSession

object ReadJsonFromS3 {
  def main(args: Array[String]): Unit = {
    // 创建SparkSession
    val spark = SparkSession.builder()
      .appName("ReadJsonFromS3")
      .getOrCreate()

    // 读取多个带有文件名的Json文件
    val jsonFiles = Seq(
      "s3://bucket/path/file1.json",
      "s3://bucket/path/file2.json",
      "s3://bucket/path/file3.json"
    )

    val df = spark.read.json(jsonFiles: _*)

    // 对数据进行处理或分析
    df.show()

    // 停止SparkSession
    spark.stop()
  }
}