在Apache Spark中解析Linux上的Windows CSV

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._

val spark = SparkSession.builder()
  .appName("CSV Parsing")
  .master("local")
  .getOrCreate()

val csvData = spark.read
  .option("header", "true")  // 如果CSV文件有标题行，则设置为true
  .option("inferSchema", "true")  // 自动推断列的数据类型
  .csv("linux上的Windows.csv文件路径")

val parsedData = csvData.select(
  split(col("列名"), "分隔符").getItem(0).alias("列名1"),
  split(col("列名"), "分隔符").getItem(1).alias("列名2"),
  // 继续解析其他列
)

// 示例：计算某一列的平均值
val averageValue = parsedData.select(avg("列名")).first().getDouble(0)

// 显示结果
parsedData.show()

// 保存结果为CSV文件
parsedData.write
  .option("header", "true")
  .csv("保存路径")