pyspark一次读取多个csv文件

Pyspark是一个用于大规模数据处理的Python库，它提供了丰富的功能和工具，可以在分布式计算环境中进行数据处理和分析。在Pyspark中，可以使用SparkSession对象来读取多个CSV文件。

要一次读取多个CSV文件，可以使用SparkSession的read.csv()方法，并传入一个包含多个文件路径的列表作为参数。以下是一个示例代码：

from pyspark.sql import SparkSession

# 创建SparkSession对象
spark = SparkSession.builder.appName("Read Multiple CSV Files").getOrCreate()

# 定义多个CSV文件的路径列表
file_paths = ["file1.csv", "file2.csv", "file3.csv"]

# 一次读取多个CSV文件
df = spark.read.csv(file_paths, header=True, inferSchema=True)

# 显示数据框的内容
df.show()

在上述代码中，首先创建了一个SparkSession对象，然后定义了包含多个CSV文件路径的列表。接下来，使用read.csv()方法读取这些CSV文件，并通过header和inferSchema参数指定文件是否包含标题行和是否自动推断列的数据类型。最后，使用show()方法显示读取的数据框内容。

这是一个简单的示例，你可以根据实际情况进行调整和扩展。如果需要更多关于Pyspark的信息，可以参考腾讯云的产品介绍页面：Pyspark产品介绍。