使用Pandas Python读取HDF文件时出现问题

文章/答案/技术大牛

发布

1回答

python、pandas、hdf

.005/2001/MODVI.200101.005.hdf 在本地下载后，我尝试了以下代码 import pandas as pd 654 try: --> 655 self.as

浏览 331提问于2021-01-04得票数 0

2回答

将python sqlite db转换为hdf5

python、sqlite、hdf5

一个Pandas DataFrame可以像这样转换成一个hdf5文件；我有一个sqlite db文件，它必须转换为hdf5文件，然后我将使用pd.read_hdf通过pandas读取hdf5文件。但

浏览 3提问于2014-04-08得票数 5

1回答

从容器内的Python脚本读取Docker容器外的HDF文件

python、docker、hdf5

我有一个python_script.py python_script.py，它在本地机器上读取一个HDF5文件hdf_file.h5。文件的目录路径是我有以下示例代码：df = read_hdf('hdf_file.h

浏览 2提问于2020-05-03得票数 0

回答已采纳

0回答

ValueError:缓冲区数据类型不匹配，应为“Python object”，但得到的却是“double”

python-3.x、pandas、jupyter-notebook、anaconda

我正在尝试读取hdf格式的文件。它以前是正常工作的，但现在突然我得到了以下错误：我的代码如下：data = pd.read_hdf('p1.hdf')我使用的是Jupyternotebook和python

浏览 3提问于2018-07-17得票数 2

回答已采纳

2回答

熊猫的输入/输出错误？

pandas

我创建了一个多索引.h5文件，并使用HDFStore存储数据。但是，当我试图从文件中读取数据文件时，我可以成功地读取一些数据文件，但无法读取其他几个数据。_read_group(group) 文件"/usr/share/python27/lib/python2.7/site-packages/p

浏览 7提问于2013-07-03得票数 0

1回答

我正在将一些代码从python 2 (2.7)转移到python 3 (3.7或更高版本)。但是，这段代码读取由python2.7中的代码创建的h5文件。这段代码也将被传输到python 3，但不是由我来传输。我需要h5文件中的数据来检查我端到python3的转换是否正常(内部数据是熊猫数据)。因此，我正在寻找一个技巧(使用python 2或python 3)来将这个h5文件转换

浏览 3提问于2020-11-25得票数 0

回答已采纳

2回答

如何从潘达斯HDF存储中读取nrow？

python、python-3.x、pandas、hdf5

pd.read_csv(... nrows=###)可以读取文件的顶部行。在使用pd.read_hdf(...)时，我也想这样做。我被弄糊涂了。start和stop看起来像我所需要的，但是当我尝试它时，会返回一个ValueError。我尝试的第二件事是使用nrows=10，认为它可能是允许的**kwargs。当我这样做时，不会抛出错误，而是返回完整的数据集，而不是仅返回10行。问题：如何正确地从HDF文件</

浏览 12提问于2017-09-29得票数 3

1回答

用Pandas.read_hdf函数读取Python3.7中的HDF文件时出错

python、python-3.x、pandas、dataframe、hdf5

以前，我已经将dataset的多列保存到一个HDF文件中。该程序可概述如下：from pandas import HDFStore, DataFrame然后，我可以简单地通过以下方式读取文件</em

浏览 3提问于2019-10-15得票数 0

1回答

无法在Python中加载HDF5文件

python、pandas、numpy、hdf5

我在读取hdf5文件时遇到了一个奇怪的问题。这是最新版本的Python和Numpy，以及其他包。我在Ubuntu 18.0.4上。我可以很好地编写hdf5文件，但是当我尝试读取hdf5文件时，它抛出以下错误： ValueError Traceback (most recent('test.hdf',

浏览 38提问于2019-01-18得票数 2

回答已采纳

1回答

使用换行符过滤第三方Python警告

python、python-3.x、pandas、warnings

我正在尝试使用环境变量抑制来自第三方模块(在本例中是通过Pandas的PyTables )发出的警告。警告以换行符开头。警告示例： python -c 'import pandas as pd; pd.DataFrame([None]).to_hdf("test.h5", "/data")' /usr/lib/python3.9( 根据Python文档，我可以通过在act

浏览 300提问于2021-07-05得票数 0

1回答

使用具有表格式和数据列的pytable创建HDF5文件

python、pandas、hdf5、pytables

我想读取以前用h5创建的一个PyTables文件。该文件是使用Pandas读取的，并且有一些条件，如下所示：从另一个问题中，我被告知，为了使h5文件具有read_hdf's where参数的"queryable“，必须在tabl

浏览 1提问于2015-11-02得票数 1

10回答

将多个csv文件读取到ParserError时的熊猫HDF5 EOF字符

python、csv、python-3.x、pandas、hdf5

使用Python3，Pandas 0.12Traceback (most recent call last): to_hdf() File "filter-1.py

浏览 15提问于2013-08-02得票数 41

2回答

在Python中处理大量数据

python、csv、amazon-ec2、machine-learning、scientific-computing

我使用的是python的，但即使要获取200,000行代码，它的速度也慢得令人痛苦。然后，我将这些数据迁移到一个数据库中，该数据库检索结果的速度更快，并且不占用太多内存，但速度仍然是一个主要问题。我想知道如何使用亚马逊的，它似乎对这种用途很有用，但也许还有其他解决方案可以探索。假设spot实例是一个很好的选择，并且考虑到我以前从未使用过它们，我想问一下我能从它们中期待什么？有没有人有使用它们做这种事情的经验？如果是这样，你的工作流程是什么？

浏览 0提问于2012-09-23得票数 7

回答已采纳

1回答

使用pandas将CSV文件转换为HDF5

python、pandas、hdf5

当我使用pandas将csv文件转换为hdf5文件时，结果文件非常大。例如，170Mb的测试csv文件(23列，130万行)将生成2 2Gb的hdf5文件。然而，如果绕过pandas，直接写入hdf5文件(使用pytables)，那么它只有20Mb。)：对我来说奇怪的是，这些值被表示为(python?)附注:我知道这个，

浏览 0提问于2014-04-28得票数 0

1回答

在pandas中访问s3上存储的HDF文件

python、django、pandas、amazon-s3、hdf5

我将转储为HDF格式的pandas数据帧存储在S3上。由于无法将文件指针、URL、s3 URL或StringIO对象传递给read_hdf，我几乎被卡住了。如果我理解正确的话，这个文件必须存在于文件系统中。它看起来是为CSV实现的，但不是为HDF实现的。有没有更好的方法打开这些HDF文件而不是将它们复制到文件系统？根据记录，这些HDF文件是在web服务器上处理的，这就是为

浏览 5提问于2016-09-07得票数 9

1回答

同时使用pandas和PyTables (3.1.1)，重新打开已打开的文件

python、pandas、hdf5、pytables

我同时使用pandas和pytables (3.1.1)。问题是我已经打开了一个包含pytables的HDF5文件，当我尝试使用pandas创建一个新的HDF5Store时 hdf5store = HDFStore(...)/virtualenv/python2.7_with_system_site_packages/local/lib/python

浏览 2提问于2014-05-21得票数 4

1回答

Pandas to_hdf和导入到Matlab

python、matlab、pandas、import、hdf5

我遇到了一个奇怪的问题，找不到我做错了什么： df.to_hdf("output.hdf","mytable", format="table") 保存可以很好地工作，使用pd.read_hdf读回Python也

浏览 4提问于2018-02-05得票数 0

1回答

如何在不耗尽内存的情况下读取tsv文件并将其存储为hdf5？

python、memory、pandas、hdf5、csv

我有一些数据集( tsv格式)大于10 gb，我需要在hdf5格式。我和Python一起工作。我已经读到过Pandas软件包在读取文件并将它们存储为hdf5时没有占用太多的内存。那么，除了在内存中读取大型文件之外，我还有其他解决方案吗？

浏览 2提问于2015-06-24得票数 3

回答已采纳

2回答

如何从pandas读取HDF表？

python、io、pandas、hdf5

我有一个可能包含HDF5格式(PyTables)数据的my_file.h5文件。我尝试使用pandas来读取此文件：store = pd.HDFStore('my_file.h5')print storeTraceback (most recent call last): File "<stdin>", line 1, i

浏览 3提问于2013-04-23得票数 2

1回答

如何在熊猫HDF5上写“只读模式”文件？

python、python-3.x、pandas、hdf5

我使用熊猫内置的HDF5方法存储数据。不知怎么的，这些HDF5文件被转换成“只读”文件，当我以写模式打开这些文件时，我收到了大量的Opening xxx in read-only mode消息，而不能将它们写成，这是我真正需要做的事情。(我试图检查存储在HDF5中的数据是否损坏，但我能够读取和操作它，因此它似乎工作得很好) 如何将数据附加到那些“只读模式”HDF5文件中？在默认情

浏览 0提问于2018-01-25得票数 2

回答已采纳

点击加载更多