在python中读写大型CSV文件
在python中读写大型CSV文件
提问于 2018-11-22 21:55:04
我使用下面的代码读取一个大的CSV文件(6-10 GB)，插入一个标题文本，然后再次将其导出到CSV a。
df = read_csv('read file')
df.columns =['list of headers']
df.to_csv('outfile',index=False,quoting=csv.QUOTE_NONNUMERIC)但是这种方法非常慢，而且我会耗尽内存。有什么建议吗？
回答 1
Stack Overflow用户
发布于 2018-11-22 22:40:17
与其读取整个6 6GB的文件，不如直接将头文件添加到一个新文件中，然后在其余的文件中使用cat？如下所示：
import fileinput
columns = ['list of headers']
columns.to_csv('outfile.csv',index=False,quoting=csv.QUOTE_NONNUMERIC)
with FileInput(files=('infile.csv')) as f:
for line in f:
outfile.write(line)
outfile.close()页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/53432533
复制相关文章
相似问题
腾讯云开发者
