Pandas数据帧到内存中的parquet缓冲区
Pandas数据帧到内存中的parquet缓冲区
提问于 2018-10-23 17:27:27
使用案例如下：
- 从外部数据库读取数据并将其加载到pandas中，然后将数据帧加载到parquet格式缓冲区中
- 将该缓冲区上传到s3
我一直在尝试在内存中执行第二步(不需要将文件存储到磁盘以获得parquet格式)，但到目前为止，我看到的所有库都是写入磁盘的。
因此，我有以下问题：
- 如果在内存中完成转换，性能不是更好吗?因为您不必处理I/O磁盘开销。
- 当您增加转换文件并将其存储到磁盘的并发进程时，我们是否会遇到有关磁盘的问题，例如在某些情况下空间不足或达到磁盘吞吐量限制?
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/52945609
复制相关文章
相似问题