首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

如何合并保存在同一主文件夹内不同子文件夹中的2000个CSV文件

合并保存在同一主文件夹内不同子文件夹中的2000个CSV文件可以通过以下步骤完成:

  1. 遍历主文件夹内的所有子文件夹,获取所有的CSV文件路径。
  2. 创建一个新的合并文件,用于保存合并后的数据。
  3. 遍历每个CSV文件,逐个读取文件内容,并将其写入合并文件中。
  4. 关闭所有文件。

下面是一个示例的Python代码实现:

代码语言:txt
复制
import os
import csv

def merge_csv_files(folder_path, output_file):
    # 获取主文件夹下的所有子文件夹
    subfolders = [f.path for f in os.scandir(folder_path) if f.is_dir()]

    with open(output_file, 'w', newline='') as outfile:
        writer = csv.writer(outfile)

        for subfolder in subfolders:
            # 获取子文件夹下的所有CSV文件
            csv_files = [f.path for f in os.scandir(subfolder) if f.is_file() and f.name.endswith('.csv')]

            for csv_file in csv_files:
                with open(csv_file, 'r') as infile:
                    reader = csv.reader(infile)
                    next(reader)  # 跳过CSV文件的标题行

                    for row in reader:
                        writer.writerow(row)

    print("合并完成!")

# 调用函数进行合并
merge_csv_files('主文件夹路径', '合并后的文件路径')

这段代码会遍历主文件夹下的所有子文件夹,获取每个子文件夹中的CSV文件,并将它们逐行写入到一个新的合并文件中。请将代码中的主文件夹路径替换为实际的主文件夹路径,将合并后的文件路径替换为希望保存合并结果的文件路径。

这种方法适用于文件数量较少且文件大小较小的情况。如果文件数量较大或文件较大,可能需要考虑分批处理或使用更高效的方法来合并CSV文件。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

领券