如何将PySpark中的数据帧/RDD作为CSV/Parquet文件快速保存到磁盘？

from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()

# 以数据帧方式加载数据集
df = spark.read.csv("path/to/input.csv", header=True, inferSchema=True)

# 或以RDD方式加载数据集
rdd = spark.sparkContext.textFile("path/to/input.csv")

# 保存数据帧为CSV文件
df.write.csv("path/to/output.csv", header=True)

# 保存RDD为CSV文件
rdd.saveAsTextFile("path/to/output.csv")

# 保存数据帧为Parquet文件
df.write.parquet("path/to/output.parquet")

# 保存RDD为Parquet文件
rdd.toDF().write.parquet("path/to/output.parquet")