我有两个大的csv文件(每个文件都有一个million+行,大小约为300-400MB )。它们使用read_csv函数将良好的数据帧加载到数据帧中,而不必使用块大小参数。我甚至对这些数据执行了一些次要的操作,如新列生成、筛选等。
但是,当我试图合并这两个框架时,我会得到一个MemoryError。我甚至试图使用SQLite来完成合并,但没有成功。手术要花很长时间。我的是一台Windows 7 PC
但是,我正在按一列合并两个文件(每个文件3列,每个文件1300万行),并且出现了类似的错误:
Negative length vectors are not allowed.对此建议的答案是没有足够的内存,然而,我在一个具有3TB内存的系统上运行这些内存(它告诉我达到的最大内存是247 GB)。这是否仍然可能是由于内存问题,还是有其他因素在起作用?是否值得减少这些数据帧并合并它们?