在Python中从多个文件夹中读取多个CSV文件可以通过以下步骤完成:
步骤1:导入所需的库 首先,需要导入以下库:
import os
import pandas as pd
步骤2:定义读取CSV文件的函数 可以定义一个函数,用于读取单个文件夹中的CSV文件。该函数将接受文件夹路径作为参数,并返回一个包含所有CSV文件数据的DataFrame对象。
def read_csv_folder(folder_path):
file_list = os.listdir(folder_path) # 获取文件夹中的所有文件名
csv_files = [f for f in file_list if f.endswith('.csv')] # 筛选出以.csv结尾的文件
dfs = []
for file in csv_files:
file_path = os.path.join(folder_path, file) # 构建文件的完整路径
df = pd.read_csv(file_path) # 读取CSV文件
dfs.append(df)
merged_df = pd.concat(dfs) # 合并所有CSV文件的数据
return merged_df
步骤3:读取多个文件夹中的CSV文件 接下来,可以定义一个函数来读取多个文件夹中的CSV文件。该函数将接受一个包含多个文件夹路径的列表作为参数,并返回一个包含所有CSV文件数据的DataFrame对象。
def read_csv_folders(folder_paths):
dfs = []
for folder_path in folder_paths:
df = read_csv_folder(folder_path) # 调用read_csv_folder函数读取单个文件夹中的CSV文件
dfs.append(df)
merged_df = pd.concat(dfs) # 合并所有CSV文件的数据
return merged_df
步骤4:调用函数读取CSV文件
可以创建一个包含多个文件夹路径的列表,然后调用read_csv_folders
函数来读取多个文件夹中的CSV文件。
folder_paths = ['folder1', 'folder2', 'folder3'] # 包含多个文件夹路径的列表
result_df = read_csv_folders(folder_paths) # 调用read_csv_folders函数读取多个文件夹中的CSV文件
注意:在上述代码中,folder1
、folder2
、folder3
是文件夹的路径。请根据实际情况将其替换为您的文件夹路径。
推荐的腾讯云相关产品和产品介绍链接地址:
领取专属 10元无门槛券
手把手带您无忧上云