腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
有没有
一种
快速
方法
可以
在
包含
pytables
的
大型
hdf5
表
中
查询
不同
的
列
值
?
、
我得到了一个巨大
的
hdf5
文件,它
包含
一个
表
,26
列
,大约30亿行(它不可能放入内存)。我做了很多谷歌搜索,但找不到
一种
快速
的
方法
来
查询
一
列
或一组
列
的
不同
值
。
有没有
比遍历所有行和构建列表更快
的
方法
?
浏览 12
提问于2019-06-03
得票数 1
回答已采纳
1
回答
PyTables
文件与
HDF5
文件
的
区别
、
、
、
HDF5
文件和
PyTables
创建
的
文件有什么区别吗?我对互操作性、速度和开销特别感兴趣。 谢谢。
浏览 3
提问于2011-11-04
得票数 14
回答已采纳
1
回答
pytables
:如何用二进制数据填充
表
行
、
我有一组N字节
的
二进制数据块,其中每个块恰好对应于
PyTables
表
的
一行。 现在,我正在将每个块解析为字段,将它们写入
表
行
中
的
各个字段,并将它们附加到
表
中
。但这看起来有点愚蠢,因为
PyTables
将把我
的
结构化数据转换回平面二进制形式,以便
包含
在
HDF5
文件
中
。如果我需要优化执行此操作所需
的
CPU时间(我
的
数
浏览 2
提问于2013-10-12
得票数 0
1
回答
如何进行
查询
,以便为
大型
查询
中
的
所有分区
表
转换
列
中
的
值
、
、
我很好奇是否有
一种
方法
可以
查询
和写入
大型
查询
中
的
所有分区
表
。我希望将单个
列
转换为
不同
的
数据类型,并将其应用于
大型
查询
表
中所有分区
的
值
。即 select cast(nums as STRING) from `project_id.dataset.table` 并将其写回
表
<em
浏览 14
提问于2019-06-19
得票数 1
回答已采纳
1
回答
AWS Lambda和
HDF5
、
、
、
我想使用存储
在
亚马逊网络服务S3
中
的
HDF5
文件。我最初
的
想法是构建一个Lambda函数,它
可以
拉取该文件,将数据附加到
表
中
,然后使用python将文件上传回S3。但是,
PyTables
(和h5py)需要libhdf5-dev。
有没有
一种
方法
可以
让
HDF5
驱动进入执行环境?或者这是否意味着
HDF5
在
AWS L
浏览 15
提问于2016-09-23
得票数 4
回答已采纳
1
回答
以SQLite和
HDF5
格式导出/导入到numpy、scipy
、
、
、
、
Python与SQLite (sqlite3,atpy)和
HDF5
(h5py,
pyTables
)
的
接口似乎有很多选择--我想知道是否有人有将它们与numpy数组或数据
表
(结构化/记录数组)一起使用
的
经验,以及其中哪一个与每种数据格式(SQLite和
HDF5
)
的
“科学”模块(numpy,scipy)无缝集成。
浏览 0
提问于2011-10-25
得票数 12
回答已采纳
2
回答
更好
的
存储和
查询
大型
气象数据集
的
方法
是什么?
、
、
、
我正在寻找
一种
方便
的
方式来存储和
查询
大量
的
气象数据(很少TB)。有关问题中间数据类型
的
更多信息。读到这件事后,我发现了与蒙戈
的
一些相似之处:
HDF5
将文件结构简化为只
包含
两种主要类型
的
对象: Datasets,它是同质类型组
的
多维数组,它是容器结构,
可以
容纳数据集和其他组--这导致了
一种
真正
的
分层
的
由于它使用B树索引
表
对象,
浏览 2
提问于2013-06-03
得票数 6
回答已采纳
1
回答
如何将
HDF5
数组组合到
表
中
?
、
、
、
、
我有一个只
包含
15个数组
的
HDF5
文件。通常我会使用SQL
查询
这些信息,但是数据库关闭了,我有一个
HDF5
文件和
PyTables
来代替它。
在
PyTables
上,我能找到
的
唯一一个输出“行”而不是
列
中
特定元素
的
查询
是
在
表
上完成
的
,而不是数组。 目前,我一直
在
自己
的
h5文件<em
浏览 26
提问于2020-07-08
得票数 0
2
回答
可以
在
PyTables
单元格
中
存储任意形状
的
多维数组吗?
、
、
、
、
PyTables
支持从继承自IsDescription类
的
用户定义类创建
表
。single-precision) 然而,
在
单个单元
中
存储任意形状
的
多维数组是可能
的
吗按照上面的示例,类似于pressure = Float32Col(shape=(x, y)),其中x和y是
在
插入每一行时确定
浏览 3
提问于2012-01-19
得票数 1
1
回答
使用
pytables
选择
列
的
子集最优雅
的
方式是什么?
、
、
我
在
pytables
中有一个
包含
300+
列
的
数据集,我希望能够轻松地选择
不同
的
子集。这似乎没有一个非常优雅
的
解决方案,或者是我遗漏了什么?我还希望有
一种
方法
可以
创建另一个
表
,该
表
只是对原始
表
中
的
select
列
进行别名,这样我就
可以
拥有主表和子集teables。
有没有<
浏览 2
提问于2011-05-18
得票数 2
回答已采纳
2
回答
查询
SQL +
HDF5
混合
查询
、
、
、
我
的
一些数据非常适合关系,SQL作为
一种
查询
语言非常方便和有效,但是我有大量
的
数字数据(具有数千或元素/行/
列
的
数组和矩阵)。因此,我将这些数据保存在一个
HDF5
文件
中
,并根据每个观察
值
之间
的
一些共性来排列组层次结构,这样,如果我将用于派生该层次结构
的
字段添加到SQL Select
查询
中
,并在关系数据库
中
添加一个
包含<
浏览 4
提问于2013-07-19
得票数 1
1
回答
处理非常大
的
数组- Numpy
、
我
的
处境是这样: 现在我从来没有处理过这么大规模
的
数据
浏览 3
提问于2014-08-20
得票数 4
1
回答
如何更改
HDF5
表
标题(使用
pytables
创建)
、
、
我想知道是否有
一种
方法
可以
使用
pyTables
更改我
在
python代码
中
创建
的
HDF5
table
的
标题。我给出了错误
的
标题字符串,现在我需要修改它,所以当我
在
python
中
再次打开它时,我
可以
根据它
的
标题将它与我加载
的
其他
表
区分开来。
浏览 1
提问于2013-02-06
得票数 0
3
回答
使用bcolz保存大熊猫数据文件
、
我想用bcolz保存一只熊猫
的
数据文件。= pd.read_csv(open("mydata.csv", 'rb'), delimiter='\t')在此之后,ct
包含
压缩数据,但我无法找到如何将其保存到文件
中
。
浏览 3
提问于2015-07-26
得票数 6
回答已采纳
5
回答
如何在pytable/
hdf5
中
存储宽
表
、
、
、
我有来自csv
的
数据,csv有几千
列
和一万行左右
的
行。
在
每一
列
中
,数据
的
类型是相同
的
,但是
不同
的
列有
不同
类型
的
数据*。以前,我一直
在
挑选numpy
中
的
数据,并将其存储
在
磁盘上,但速度相当慢,特别是因为通常我希望加载某些
列
的
子集,而不是全部。我希望使用pytable将数据放入<
浏览 4
提问于2013-11-18
得票数 11
回答已采纳
1
回答
使用python将数据存储
在
hdf5
文件
中
、
、
我有一个python程序,它以+- 1000 Hz
的
速度通过UDP接受数据流。一个典型
的
溪流需要+- 15分钟。它由+- 10个通道组成,每个通道由一个双倍流、布尔流或带有时间戳
的
3大小矢量组成。目前,每次迭代(每秒1000次)都会将一行写到csv文件
中
,并
包含
所有的
值
。class StoreData(threading.Thread)
浏览 3
提问于2021-03-23
得票数 1
1
回答
如何有效和清楚地检查Oracle
中
是否存在行?
、
、
假设您有一些
大型
表
foo,其中
包含
一个
列
bar,该
列
的
值
相对较少。例如,bar
列
可以
只
包含
'a'、'b'或'c'
的
10,000行。
在
foo
列
包含
一个'a'
值
的
情况下,检查单个行是否存在
的
最快和最清晰
的</e
浏览 2
提问于2022-01-21
得票数 1
2
回答
索引和分片
的
区别是什么?
、
、
索引和分片
的
区别是什么?两者
的
作用是什么?
浏览 3
提问于2011-05-02
得票数 14
回答已采纳
1
回答
将
HDF5
子集存储为数据集(
在
python
中
)
、
我只有有限
的
HDF5
知识,但我想了解一些关于硬盘驱动器
的
选择。如果我理解正确的话,选择
可以
引用数据集
的
任何子集。此外,还
可以
将选择存储到数据集中。因此,从
HDF
浏览 0
提问于2015-01-06
得票数 2
6
回答
Pytables
与CSV用于不是很大
的
文件
、
、
我最近遇到了
Pytables
,发现它非常酷。很明显,对于非常大
的
数据集,它们优于csv格式。我正在使用python运行一些模拟。输出不是很大,比如200
列
和2000行。如果有人对这两种格式都有经验,你能建议哪种格式
在
长期运行时对这类不太大
的
数据集更方便吗?
Pytables
具有数据操作能力和使用Vitables浏览数据
的
能力,但浏览器没有Excel那样多
的
功能,后者
可以
用于CSV。同样,如果主要在python
中
工作,您
浏览 0
提问于2010-10-26
得票数 8
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
这几个方法会颠覆你的看法
这几个方法颠覆你对Pandas缓慢的观念!
Power Query中的“追加查询”可以实现合并多个工作表和工作簿
Python笔记-数据加载、存储与文件格式(2)
MySQL索引分析
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券