Spark查找日期分区列的最大值

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._

// 创建SparkSession
val spark = SparkSession.builder()
  .appName("Spark Date Partition")
  .getOrCreate()

// 加载数据集
val df = spark.read
  .format("csv")
  .option("header", "true")
  .option("inferSchema", "true")
  .load("path/to/dataset.csv")

// 将日期分区列转换为日期类型
val dateColumn = to_date(col("date_partition_column"), "yyyy-MM-dd")

// 查找最大日期
val maxDate = df.select(max(dateColumn)).first().getDate(0)

// 打印最大日期
println("最大日期: " + maxDate)

// 关闭SparkSession
spark.stop()