用Python编写hdf 5文件的最快方法？内容来源于 Stack Overflow，并遵循CC BY-SA 3.0许可协议进行翻译与使用
内容来源于 Stack Overflow，并遵循CC BY-SA 3.0许可协议进行翻译与使用
- 回答 (3)
- 关注 (0)
- 查看 (272)
考虑到大量(10秒GB)混合文本/数字的CSV文件，在保持内存使用合理的同时，创建具有相同内容的hdf 5文件的最快方法是什么？我想用h5py模块。
在下面的示例中，我发现了一种非常慢、非常快的方式来将数据写入hdf 5。用10000行左右的块写入hdf 5是否是最佳实践？还是有更好的方法将大量数据写入这样的文件？
import h5py
n = 10000000
f = h5py.File('foo.h5','w')
dset = f.create_dataset('int',(n,),'i')
# this is terribly slow
for i in xrange(n):
dset[i] = i
# instantaneous
dset[...] = 42还可以找到一种方法来读取CSV文件块，以避免将整个文件加载到磁盘。然后使用recArray(或其中的片)将整个(或其中的大块)写入h5py数据集。
尝试一次编写大量数据，而不是迭代单个元素。
读取CSV文件的另一种可能是numpy.genfromtxt
可以使用关键字获取想要的列usecols，然后通过正确设置skip_header和skip_footer关键词。
腾讯云广州一区DNS变更，需要怎么操作？
推荐
我也收到相关的通知了，这里分享下~
2019年1月31日，腾讯云将对广州地区旧的基础网络DNS服务器（10.225.30.181、10.225.30.223）进行下线。在此期间，腾讯云提供最新的DNS服务器供您更新使用。
我们建议您尽快将DNS服务器配置进行更新，并且我们为您提供...... 展开详请
快照容量与费用的比例？如何关闭停用？
推荐已采纳
快照已于2019年1月22日0时启动正式商业化进程，商业化后所有存量快照和新产生的快照将根据快照使用的存储容量进行收费。
在快照商业化后，腾讯云仍旧会在国内主要地域为用户提供一定量的免费额度。免费额度策略如下：
免费额度覆盖范围为中国大陆地域，中国香港及海外地域暂无免费快照额...... 展开详请
云服务器购买后多久生效能使用？
推荐
欠费资源销毁怎么解决？
推荐
当您的账户发生欠费时，对象存储 COS 会在24小时后停止服务，您的数据可以继续保留120天，如果在此期间未进行续费使账户余额大于等于0， 您的数据将会被销毁。
注意：
欠费停服后，数据占用的存储容量会持续计费，直到销毁数据。
销毁数据后，不可恢复。
用户续费使账户余额大于等于...... 展开详请
React项目的try_files机制，在COS上怎么配置？
用户主动向云服务器的号码发送短信（不是回复），该条消息能否回调给业务服务器？
推荐
扫码关注云+社区