首页
学习
活动
专区
工具
TVP
发布
社区首页 >问答首页 >用Python编写HDF5文件的最快方法?

用Python编写HDF5文件的最快方法?
EN

Stack Overflow用户
提问于 2011-03-29 09:37:09
回答 3查看 32K关注 0票数 23

假设有一个大的(10 GB) CSV文件,其中包含混合的文本/数字,那么在保持合理的内存使用的同时,创建具有相同内容的HDF5文件的最快方法是什么?

如果可能的话,我想使用h5py模块。

在下面的玩具示例中,我发现了一种将数据写入HDF5的非常慢和非常快的方法。在10,000行左右的块中写入HDF5是不是最佳实践?或者,有没有更好的方法将大量数据写入这样的文件?

import h5py

n = 10000000
f = h5py.File('foo.h5','w')
dset = f.create_dataset('int',(n,),'i')

# this is terribly slow
for i in xrange(n):
  dset[i] = i

# instantaneous
dset[...] = 42
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/5466971

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档