难以将csv文件合并为单个文件
难以将csv文件合并为单个文件
提问于 2021-01-25 20:44:08
我的数据集中在2009年到2018年的航班延误和取消情况。以下是需要考虑的要点：
- 每年都是它自己的csv文件，所以'2009.csv'，'2010.csv'，一直到文件大约是700 is
- ，我用下面的方法组合了csv文件
import pandas as pd
import numpy as np
import os, sys
import glob
os.chdir('c:\\folder'
extension = 'csv'
all_filenames = [i for i in glob.glob('*.{}'.format(extension))]
combined_airline_csv = pd.concat([pd.read_csv(f) for f in all_filenames])
combined_airline_csv.to_csv('combined_airline_csv.csv', index =False, encoding = 'utf-8-sig')运行
- 时，我收到以下消息: MemoryError:无法为形状(5674621)和数据类型float64.
的数组分配43.3MiB
我假定我的文件太大，需要在虚拟机(即AWS)上运行。
有什么想法吗？
谢谢!
回答 1
Stack Overflow用户
发布于 2021-01-25 21:05:19
这是how to merge 200 csv files in Python的副本。
因为您只想将它们合并到一个文件中，所以不需要同时将所有数据加载到dataframe中。因为它们都有相同的结构，所以我建议创建一个filewriter，然后用文件读取器打开每个文件，然后逐行写入数据(如果我们想要称之为流)。只是要小心，不要每次都复制标题，因为您只需要它们一次。熊猫根本不是完成这项任务的最佳工具:)
一般来说，这是一个典型的任务，也可以直接在命令行上轻松、甚至更快地完成。(代码取决于操作系统)
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/65892174
复制相关文章
相似问题
腾讯云开发者
