如何同时在RAM中保存包含数百万本字典的python列表？
如何同时在RAM中保存包含数百万本字典的python列表？
提问于 2019-08-05 10:13:49
我正在将巨大的csv文件存储为字典列表，如下所示：
dictlist=[{ 'col-1' : 'data-1','col-2' : 'data-2','col-3' : 'data-3'},
{ 'col-1' : 'data-1','col-2' : 'data-2','col-3' : 'data-3'}]其中键1和2是行号，值是csv文件中的数据。
我的问题是，我需要转换csv文件有大约4 million+行。但是，对于大量的数据，我的数据结构无法适应内存(RAM)。
有人能帮我找到像把数据结构存储到磁盘之类的解决方案吗？我需要一次使用整个数据结构。
提前感谢
回答 1
Stack Overflow用户
回答已采纳
发布于 2019-09-25 05:46:07
- 我用磁盘列表库解决了这个问题。
- 首先，您需要使用pip安装磁盘列表库(pip install disklist)
- 之后，您应该导入磁盘列表并像list一样使用它(some_variable_name = disklist())
- 磁盘列表几乎与python中的list相同。但是它将存储在磁盘空间中，而不是RAM中。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/57356486
复制相关文章
相似问题
腾讯云开发者
