用户对问题“用Python编写hdf 5文件的最快方法？”的回答 - 问答 - 云+社区

用Python编写hdf 5文件的最快方法？
内容来源于 Stack Overflow，并遵循CC BY-SA 3.0许可协议进行翻译与使用

回答 (3)
关注 (0)
查看 (181)

考虑到大量(10秒GB)混合文本/数字的CSV文件，在保持内存使用合理的同时，创建具有相同内容的hdf 5文件的最快方法是什么？我想用h5py模块。

在下面的示例中，我发现了一种非常慢、非常快的方式来将数据写入hdf 5。用10000行左右的块写入hdf 5是否是最佳实践？还是有更好的方法将大量数据写入这样的文件？

import h5py

n = 10000000
f = h5py.File('foo.h5','w')
dset = f.create_dataset('int',(n,),'i')

# this is terribly slow
for i in xrange(n):
  dset[i] = i

# instantaneous
dset[...] = 42

提问于 2018-02-062018-02-06 00:56:29

用户回答回答于 2018-02-062018-02-06 10:16:03

CSV的matplotlib辅助方法

还可以找到一种方法来读取CSV文件块，以避免将整个文件加载到磁盘。然后使用recArray(或其中的片)将整个(或其中的大块)写入h5py数据集。

尝试一次编写大量数据，而不是迭代单个元素。

读取CSV文件的另一种可能是numpy.genfromtxt

可以使用关键字获取想要的列usecols，然后通过正确设置skip_header和skip_footer关键词。

赞0 收藏0 评论0

CSV的matplotlib辅助方法还可以找到一种方法来读取CSV文件块，以避免将整个文件加载到磁盘。然后使用recArray(或其中的片)将整个(或其中的大块)写入h5py数据集。尝试一次编写大量数据，而不是迭代单个元素。读取CSV文件的另一种可能是numpy.genf...

查看全部 3 个问答

腾讯云 COS 怎么才能外链调用 m3u8 到别的网站播放？

1回答

对象存储

滑稽园扛把子

Swoole · PHP开发工程师 (已认证)

As a PHP Developer

推荐

设置公有读私有写：当访问对象时，COS 读取到对象的权限为公有读，此时无论存储桶为何种权限，对象都可以被直接下载设置步骤登录对象存储控制台，选择左侧菜单栏【存储桶列表】，进入存储桶列表页面。单击需要修改对象权限的对应存储桶，进入存储桶。 📷 找到需要设置权限的对象（如 e...... 展开详请

赞2 收藏0 评论0

设置公有读私有写：当访问对象时，COS 读取到对象的权限为公有读，此时无论存储桶为何种权限，对象都可以被直接下载设置步骤登录对象存储控制台，选择左侧菜单栏【存储桶列表】，进入存储桶列表页面。单击需要修改对象权限的对应存储桶，进入存储桶。 📷 找到需要设置权限的对象（如 e...

Ubuntu搭建的WordPress如何修改php.ini？

3回答

Ubuntu、WordPress

滑稽园扛把子

Swoole · PHP开发工程师 (已认证)

As a PHP Developer

推荐

php新手很多不知道怎么查配置文件在哪，这里提供一个很简单的方法使用 php -i 命令可以打印php的详细信息，可以把这堆东西输出一下 php -i > outputphp.txt，结合 grep 查找命令 php -i| grep php.ini 打印结果如下 Config...... 展开详请

赞0 收藏0 评论0

php新手很多不知道怎么查配置文件在哪，这里提供一个很简单的方法使用 php -i 命令可以打印php的详细信息，可以把这堆东西输出一下 php -i > outputphp.txt，结合 grep 查找命令 php -i| grep php.ini 打印结果如下 Config...