合并保存在同一主文件夹内不同子文件夹中的2000个CSV文件可以通过以下步骤完成:
下面是一个示例的Python代码实现:
import os
import csv
def merge_csv_files(folder_path, output_file):
# 获取主文件夹下的所有子文件夹
subfolders = [f.path for f in os.scandir(folder_path) if f.is_dir()]
with open(output_file, 'w', newline='') as outfile:
writer = csv.writer(outfile)
for subfolder in subfolders:
# 获取子文件夹下的所有CSV文件
csv_files = [f.path for f in os.scandir(subfolder) if f.is_file() and f.name.endswith('.csv')]
for csv_file in csv_files:
with open(csv_file, 'r') as infile:
reader = csv.reader(infile)
next(reader) # 跳过CSV文件的标题行
for row in reader:
writer.writerow(row)
print("合并完成!")
# 调用函数进行合并
merge_csv_files('主文件夹路径', '合并后的文件路径')
这段代码会遍历主文件夹下的所有子文件夹,获取每个子文件夹中的CSV文件,并将它们逐行写入到一个新的合并文件中。请将代码中的主文件夹路径
替换为实际的主文件夹路径,将合并后的文件路径
替换为希望保存合并结果的文件路径。
这种方法适用于文件数量较少且文件大小较小的情况。如果文件数量较大或文件较大,可能需要考虑分批处理或使用更高效的方法来合并CSV文件。
领取专属 10元无门槛券
手把手带您无忧上云