Pyspark:如何从不同的文件夹读取多个csv？

Pyspark是一个基于Python编程语言的Spark分布式计算框架。它提供了一种高效的方式来处理大规模数据集，并且能够与Hadoop等大数据处理技术无缝集成。

要从不同的文件夹读取多个csv文件，可以使用Pyspark的文件系统API来实现。下面是一个示例代码，展示了如何使用Pyspark从多个文件夹读取多个csv文件：

from pyspark.sql import SparkSession

# 创建SparkSession
spark = SparkSession.builder \
    .appName("Read Multiple CSV Files") \
    .getOrCreate()

# 定义多个文件夹路径
folders = ['folder1', 'folder2', 'folder3']

# 创建一个空的DataFrame
df = spark.createDataFrame(spark.sparkContext.emptyRDD(), schema)

# 逐个读取csv文件并将其添加到DataFrame中
for folder in folders:
    folder_path = "/path/to/" + folder
    file_path = folder_path + "/*.csv"
    temp_df = spark.read.csv(file_path, header=True, inferSchema=True)
    df = df.union(temp_df)

# 显示DataFrame内容
df.show()

# 停止SparkSession
spark.stop()

在上述代码中，首先创建了一个SparkSession，然后定义了要读取的多个文件夹路径。接下来，使用一个空的DataFrame来存储读取的数据。然后，使用一个循环遍历每个文件夹，并使用spark.read.csv()方法读取csv文件并将其添加到DataFrame中。最后，使用df.show()来显示DataFrame的内容。

关于Pyspark的更多详细信息和用法，请参考腾讯云的Pyspark文档。

注意：在实际应用中，根据具体情况可能需要根据文件夹结构进行递归遍历或者修改文件路径的格式。这里的示例代码仅供参考，具体实现可能需要根据实际需求进行调整。