腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
pandas
从
google
云
存储
读取
hdf
文件
python
、
pandas
、
google-cloud-storage
、
hdf5
、
hdf
向程序员、
Google
云
开发人员和专业人士致以问候。我尝试
使用
pandas
提供的内置方法"pd.read_
hdf
()“
从
谷歌
云
存储
中
读取
hdf
文件
列表,其中
文件
名类似于("client1.h")。我
使用
的代码如下: from
google
.cloud.storage import blob, bucket impor
浏览 52
提问于2021-05-09
得票数 0
1
回答
有没有办法通过apache
读取
".h“
文件
?
google-cloud-dataflow
、
apache-beam
我想从谷歌
云
存储
中
读取
".h“(
hdf
)
文件
,
文件
名为"data_2020.h”,有没有方法可以像
pandas
中那样直接
读取
文件
?下面的代码是一个
pandas
示例: df = pd.read_
hdf
("data_2020.h", mode="r")
浏览 8
提问于2021-05-19
得票数 0
1
回答
选择性
读取
包含混合类型列的
pandas
数据帧
python
、
python-2.7
、
pandas
、
hdf5
、
hdf
我有
pandas
表,其中的列包含有数千行的可变长度列表,例如,df = pd.DataFrame({0: [[1, 2], [3, 4, 5], [7], [8Output: 01 [3, 4, 5]3 [8, 9, 10, 11] 我可以
使用
以下命令将
文件
存储
在驱动器中with pd.HDFStore('out_file
浏览 0
提问于2018-08-28
得票数 0
3
回答
使用
pandas
从
Google
云
存储
读取
CSV
文件
pandas
、
google-cloud-storage
、
dask
我正在尝试将一堆CSV
文件
从
谷歌
云
存储
读取
到
pandas
数据帧中,如Read csv from
Google
Cloud storage to
pandas
dataframe中所述 storage_client
浏览 39
提问于2019-03-05
得票数 0
回答已采纳
1
回答
如何
使用
dask快速访问数据子集?
python
、
dask
64816.0 10640.0 27592.0 24896.0 90624.0 ddf = dd.read_
hdf
(*.
hdf
5, key='/*', chunksize=100000, lock=False) 但是df = ddf[ddf.smp.isin([...a
浏览 0
提问于2016-12-01
得票数 3
回答已采纳
1
回答
Python2将h5
文件
数据创建到python 3中。
python
、
python-3.x
、
python-2.7
、
hdf5
我正在将一些代码
从
python 2 (2.7)转移到python 3 (3.7或更高版本)。数据相当可观。
浏览 3
提问于2020-11-25
得票数 0
回答已采纳
3
回答
使用
Python缺失的
HDF
文件
中的数据
python
、
pandas
、
h5py
、
hdf
我正在尝试
读取
一个
hdf
文件
,但没有出现任何组。我尝试过几种
使用
表和h5py的不同方法,但这两种方法都无法显示
文件
中的组。我检查了该
文件
,该
文件
是“分层数据格式(version 5)数据”(请参阅更新)。
文件
信息为,以供参考。示例数据可以找到import tables as tb
使用
h5py: f
浏览 15
提问于2016-08-10
得票数 1
回答已采纳
2
回答
将python sqlite db转换为
hdf
5
python
、
sqlite
、
hdf5
一个
Pandas
DataFrame可以像这样转换成一个
hdf
5
文件
;我有一个sqlite db
文件
,它必须转换为
hdf
5
文件
,然后我将
使用
pd.read_
hdf
通过
pandas
读取
hdf
5
文件
。但
浏览 3
提问于2014-04-08
得票数 5
1
回答
在
pandas
中访问s3上
存储
的
HDF
文件
python
、
django
、
pandas
、
amazon-s3
、
hdf5
我将转储为
HDF
格式的
pandas
数据帧
存储
在S3上。由于无法将
文件
指针、URL、s3 URL或StringIO对象传递给read_
hdf
,我几乎被卡住了。如果我理解正确的话,这个
文件
必须存在于
文件
系统中。它看起来是为CSV实现的,但不是为
HDF
实现的。有没有更好的方法打开这些
HDF
文件
而不是将它们复制到
文件
系统?根据记录,这些
HDF
文件
是在web服务器
浏览 5
提问于2016-09-07
得票数 9
4
回答
在Python中
读取
HDF
文件
的属性
python
、
pandas
、
hdf5
、
hdfstore
、
hdf
我在
pandas
中
读取
hdf
文件
时遇到问题。到目前为止,我还不知道这个
文件
的密钥。
pandas
.io.pytables.read_
hdf
(path_or_buf, key, **kwargs) 我可以
从
pytables获取
浏览 42
提问于2014-06-16
得票数 0
1
回答
无法
从
本地
使用
熊猫
读取
csv
python
、
pandas
、
google-cloud-storage
我有下面的代码来
读取
csv,它是
从
云
函数中运行的。import
pandas
as pd print(file_name我还设置了
GOOGLE
_APPLICATION_CREDENTIALS set
GOOGLE
_APPLICATION_CREDENTIALS =
浏览 6
提问于2022-08-22
得票数 1
2
回答
从
Oracle
读取
包含数百万行的大表并将其写入
HDF
5
python
、
pandas
、
hdf5
、
pytables
我正在
使用
一个具有数百万行和100+列的Oracle数据库。我尝试
使用
带有索引的pytables将此数据
存储
在
HDF
5
文件
中。我将在
pandas
DataFrame中
读取
这些数据的子集并执行计算。我尝试了以下几种方法:
使用
实用程序将表下载到csv
文件
中,
使用
pandas
逐块
读取
csv
文件
块,并
使用
pandas
.HDFStore
浏览 2
提问于2013-12-17
得票数 12
1
回答
HDF
5 -如何仅将选定的DataFrame列保存到
pandas
python
、
pandas
、
hdf5
、
hdfstore
我正在
读取
csv示例
文件
并将其
存储
在.h5数据库中。.to_
hdf
放在一个.h5商店里,选择只传递给.h5几列: df.to_
hdf
('test.h5','key1',format='table',data_columns=['User_ID
浏览 11
提问于2015-01-11
得票数 6
回答已采纳
1
回答
使用
具有表格式和数据列的pytable创建
HDF
5
文件
python
、
pandas
、
hdf5
、
pytables
我想
读取
以前用h5创建的一个PyTables
文件
。该
文件
是
使用
Pandas
读取
的,并且有一些条件,如下所示:
从
另一个问题中,我被告知,为了使h5
文件
具有read_
hdf
's where参数的"queryable
浏览 1
提问于2015-11-02
得票数 1
1
回答
用
Pandas
.read_
hdf
函数
读取
Python3.7中的
HDF
文件
时出错
python
、
python-3.x
、
pandas
、
dataframe
、
hdf5
以前,我已经将dataset的多列保存到一个
HDF
文件
中。该程序可概述如下:from
pandas
import HDFStore, DataFrame然后,我可以简单地通过以下方式
读取
文件</em
浏览 3
提问于2019-10-15
得票数 0
1
回答
利用
hdf
5进行深度学习的计算效益
database
、
deep-learning
、
storage
、
hdf5
在一些情况下,
hdf
5
存储
格式用于深度学习。可以理解
hdf
5共享数据的好处。然而,我是否可以期望通过
使用
hd5f而不是级联帧的图像来提高训练效率呢?如果共享是我最不关心的事情,我是否有理由
使用
hdf
5? 编辑:我浏览了各种页面,如
HDF
5用户指南、常见问题解答和其他博客文章。我发现
hdf
5主要是一种通用的
存储
格式。
浏览 4
提问于2017-12-13
得票数 2
回答已采纳
2
回答
Azure Blob
存储
和
HDF
文件
存储
azure
、
blob
、
hdf5
我正在开发一个
云
服务器,我需要
使用
blob
存储
来
存储
HDF
文件
( )。我需要获取
文件
路径来创建
文件
或对其进行读写。谁能告诉我如何在Azure Blob上创建自定义
文件
? 我需要能够
使用
如下所示的API,但要将Azure
存储
路径传递给该
文件
。我正在尝试创建的这些<
浏览 0
提问于2012-12-22
得票数 0
1
回答
dask /
pandas
分类转换差异
python
、
csv
、
pandas
、
dask
我管理的csv
文件
比内存大,大部分是分类数据。最初,我会创建一个很大的csv
文件
,然后通过
Pandas
read_csv
读取
它,转换为分类
文件
并保存为
hdf
5。一旦进入分类格式,它就会很好地
存储
在内存中。
文件
越来越多,我搬到了Dask。不过,过程是一样的。但是,在空白字段中,cat.categories似乎
使用
np.nan,并且该类别不包括在
Pandas
清单中。有了Dask,空值被填充了NaN,它被作为一个单独的类
浏览 0
提问于2016-10-10
得票数 1
2
回答
在Python中处理大量数据
python
、
csv
、
amazon-ec2
、
machine-learning
、
scientific-computing
我
使用
的是python的,但即使要获取200,000行代码,它的速度也慢得令人痛苦。然后,我将这些数据迁移到一个数据库中,该数据库检索结果的速度更快,并且不占用太多内存,但速度仍然是一个主要问题。我想知道如何
使用
亚马逊的,它似乎对这种用途很有用,但也许还有其他解决方案可以探索。 假设spot实例是一个很好的选择,并且考虑到我以前从未
使用
过它们,我想问一下我能从它们中期待什么?有没有人有
使用
它们做这种事情的经验?如果是这样,你的工作流程是什么?
浏览 0
提问于2012-09-23
得票数 7
回答已采纳
2
回答
如何
从
潘达斯
HDF
存储
中
读取
nrow?
python
、
python-3.x
、
pandas
、
hdf5
pd.read_csv(... nrows=###)可以
读取
文件
的顶部行。在
使用
pd.read_
hdf
(...)时,我也想这样做。我被弄糊涂了。我尝试的第二件事是
使用
nrows=10,认为它可能是允许的**kwargs。当我这样做时,不会抛出错误,而是返回完整的数据集,而不是仅返回10行。>>> import
pandas
浏览 12
提问于2017-09-29
得票数 3
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python笔记-数据加载、存储与文件格式(2)
保存为.npy与保存为pd数据格式,哪个更高效?
利用Python进行数据分析(九)
pandas遇到大数据,内存不够怎么办?
文章整理:Python在金融中的应用
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券