在尝试将稀疏df保存到hdf5时，获取'SparseDtype‘对象没有'itemsize’属性？
在尝试将稀疏DataFrame保存到HDF5时，获取'SparseDtype'对象没有'itemsize'属性的原因是，稀疏数据类型（SparseDtype）在Pandas中是一种特殊的数据类型，与传统的数据类型（如整数、浮点数等）不同，它没有固定的字节大小（itemsize）。
稀疏数据类型是一种优化的数据存储方式，适用于数据中包含大量稀疏值（即大部分元素为缺失值）的情况。它通过只存储非缺失值的位置和对应的值来节省存储空间。在Pandas中，稀疏数据类型可以通过SparseDtype对象来表示。
由于稀疏数据类型没有固定的字节大小，因此无法获取'itemsize'属性。如果需要获取稀疏数据类型的其他属性，可以使用SparseDtype对象的其他方法和属性，如'kind'属性表示数据类型的种类（'f'表示浮点数，'i'表示整数等），'name'属性表示数据类型的名称。
在处理稀疏DataFrame时，可以使用Pandas提供的SparseDataFrame类来创建和操作稀疏数据。此外，如果需要将稀疏DataFrame保存到HDF5文件中，可以使用Pandas的to_hdf方法，并指定参数format='table'来保存为表格格式。
腾讯云提供了一系列与云计算相关的产品和服务，包括云服务器、云数据库、云存储等。您可以访问腾讯云官方网站（https://cloud.tencent.com/）了解更多关于腾讯云的产品和服务信息。
相关·内容
我有一个SparseDataFrame类型的对象，我想更改一些值。
通常，在处理数据文件时，我使用DataFrame.loc、DataFrame.iloc或set_value。当试图在SparseDataFrame对象上使用此方法时，我总是会收到如下错误：
"SparseArray does not support item assignment via setitem"
TypeError: SparseArray does not support item assignment via setitem
如何正确地使用SparseArray？
这个问题：建议先使用df.to_
浏览 1提问于2018-02-28得票数 9
我有一个非常大的熊猫数据帧存储为hdf5文件。为了获得该dataframe (df)的字符串列的最大大小，我以块的形式读取该dataframe，并使用以下代码来获得结果
df[col].str.len().max()
有没有更有效的方法可以让我读取hdf5的元数据来直接获取它的min_itemsize？
浏览 0提问于2015-10-10得票数 1
1回答
我正在尝试将pandas Dataframe转换为scipy稀疏矩阵，以此作为有效使用许多功能的一种方式。 然而，我没有找到一种有效的方法来访问dataframe中的值，所以在执行转换时，我总是会耗尽内存。我尝试了下面的两个解决方案，但它们都不起作用。我研究了很多，但没有找到更好的。如果有人有什么建议，我很乐意测试一下。 sparse_array = sparse.csc_matrix(df.values)
sparse_array = sparse.csc_matrix(df.to_numpy())
浏览 12提问于2020-10-19得票数 1
回答已采纳
2回答
我有一个大的枕木稀疏矩阵，占我系统总内存的90%以上。我想把它保存到磁盘上，因为构建矩阵需要几个小时.
我试过cPickle，但那会导致记忆爆炸.
import numpy as np
from scipy.sparse import lil_matrix
import cPickle
dim = 10**8
M = lil_matrix((dim, dim), dtype=np.float)
with open(filename, 'wb') as f:
cpickle.dump(M, f) # leads to a major memory explosio
浏览 1提问于2014-07-25得票数 2
回答已采纳
我在数据帧中有一个巨大的稀疏数据集，并且一直在使用df.to_sparse，但它很快就会被弃用，所以我想切换到pd.Series(pd.SparseArray())，但不确定如何在整个数据帧中做到这一点？ 我的最终df是100K行和49K列，所以需要一种自动化的方式。
浏览 18提问于2020-01-03得票数 1
1回答
我有一只大熊猫，它有一个字符串列，它的大小是高度倾斜的。大多数行的字符串长度都小于20，但有些行的字符串长度超过2000。
我使用pandas.HDFStorage.append将数据存储在磁盘上，并设置min_itemsize = 4000。但是，这种方法效率很低，因为hdf5文件的大小非常大，而且我们知道大多数文件都是空的。
是否可以为此字符串列的行指定不同的大小？也就是说，将小min_itemsize分配给字符串短的行，将大min_itemsize分配给字符串较长的行。
浏览 8提问于2015-08-30得票数 4
回答已采纳
我正在尝试将一个大型稀疏数据帧保存到hdf5文件中，但我收到一个属性错误： one_hot = pd.get_dummies(my_DF, columns=['cat'], sparse=True)
one_hot.to_hdf('/content/data.h5', 'table', mode='w', append=True, complevel=9, complib='bzip2') 我得到了错误： AttributeError: 'SparseDtype' object has no at
浏览 28提问于2020-12-27得票数 2
回答已采纳
1回答
我发现，当保存到磁盘中时，dataframe的稀疏版本实际上要比密集版本大得多。我做错了什么？
test = pd.DataFrame(ones((4,4000)))
test.ix[:,:] = nan
test.ix[0,0] = 47
test.to_hdf('test3', 'df')
test.to_sparse(fill_value=nan).to_hdf('test4', 'df')
test.to_pickle('test5')
test.to_sparse(fill_value=nan).to
浏览 1提问于2014-02-06得票数 5
回答已采纳
1回答
在pandas 0.25.3中，我不能减去稀疏数据帧的均值列。我试过了： df_norm= df.sub(df.mean(axis=1), axis=0) 但我得到了： AttributeError: module 'pandas._libs.sparse' has no attribute 'sparse_sub_float32'
浏览 14提问于2020-01-26得票数 0
回答已采纳
已经被否决了。更新后的转换为稀疏DataFrame的方法是什么？
浏览 16提问于2022-03-15得票数 2
回答已采纳
使用pandas.HDFStore().append()后，我将得到以下错误
ValueError: Trying to store a string with len [150] in [values_block_0] column but this column has a limit of [127]!
Consider using min_itemsize to preset the sizes on these columns
我正在创建一个熊猫DataFrame并将其添加到HDF5文件中，如下所示：
import pandas as pd
store = pd.HDFStor
浏览 29提问于2016-10-10得票数 5
回答已采纳
对于给定的路径，我在其中处理多个GigaBytes文件，并为每个处理过的文件生成数据帧。对于每个产生的数据帧(包括两个大小不同的字符串列)，我希望使用非常有效的HDF5格式将它们转储到磁盘。在第4次或第5次迭代中调用HDFStore.append过程时，会引发错误。
我使用以下例程(简化)来构建数据帧：
def build_data_frames(path):
data = df({'headline': [],
'content': [],
'publication': [],
浏览 0提问于2016-03-05得票数 3
2回答
熊猫数据关联规则
、、、
我有这样的数据
df = pd.DataFrame(data=[980,169,104,74], columns=['Count'], index=['X,Y,Z', 'X,Z','X','Y,Z'])
Count
X, Y, Z 980
X,Z 169
X 104
Y,Z 74
我希望能够从中提取关联规则。我已经看到Apriori算法是参考。并发现用于数据挖掘的Orange库在这一领域是众所周知的.
但问题是，为了使用，
浏览 4提问于2015-11-11得票数 4
1回答
当数据帧通过pytable保存到HDF5上时，熊猫多索引的结构是什么？每个部分是一个单独的索引，还是有一个连接索引？
浏览 2提问于2015-06-02得票数 1
回答已采纳
1回答
我的列表使用了多少内存？
、、、
我通过以下方式将hdf5数据集读入内存：
import h5py
with h5py.File('file.hdf5') as f:
a = f['data'][:]
其中'a‘最多可以有1亿个条目。如何准确查询此列表占用了多少内存( MB/GB )？
浏览 1提问于2016-03-15得票数 1
熊猫有一个，可以方便地在HDF5中存储数据和系列的东西：
random_matrix = np.random.random_integers(0,10, m_size)
my_dataframe = pd.DataFrame(random_matrix)
store = pd.HDFStore('some_file.h5',complevel=9, complib='bzip2')
store['my_dataframe'] = my_dataframe
store.close()
但是，如果我试图将其他一些常规Python对象保存在同一个
浏览 1提问于2013-07-23得票数 15
回答已采纳
1回答
熊猫数据的高效读写
、、、、
我有一只熊猫数据，我想把它们分成几个小的100 K行，然后保存到磁盘上，这样我就可以读取数据并逐一处理。我尝试过使用dill和hdf存储，因为csv和原始文本似乎需要很长时间。
我正在对包含大约500 k行和五列混合数据的数据子集进行试验。两个包含字符串，一个整数，一个浮点数，最后一个包含来自sklearn.feature_extraction.text.CountVectorizer的双图计数，存储为一个scipy.sparse.csr.csr_matrix稀疏矩阵。
这是我遇到问题的最后一篇专栏。转储和加载数据是没有问题的，但是当我尝试实际访问数据时，它是一个pandas.Series对象
浏览 3提问于2017-05-16得票数 1
回答已采纳
我之所以想在稀疏pandas容器中使用较小的数据类型，是为了减少内存使用。当处理最初使用bool (例如，来自to_dummies)或小数值数据类型(例如，int8)的数据时，这是相关的，这些数据类型都在稀疏容器中转换为float64。
DataFrame创建
所提供的示例使用20kx145的普通数据帧。实际上，我使用的数据帧大小为1e6x5e3。
In []: bool_df.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 19849 entries, 0 to 19848
Columns: 145
浏览 2提问于2016-04-10得票数 1
1回答
请考虑以下示例：
准备数据：
import string
import random
import pandas as pd
matrix = np.random.random((100, 3000))
my_cols = [random.choice(string.ascii_uppercase) for x in range(matrix.shape[1])]
mydf = pd.DataFrame(matrix, columns=my_cols)
mydf['something'] = 'hello_world'
为HDF5设置可能的最高压缩：
stor
浏览 0提问于2013-05-19得票数 39
回答已采纳
(使用Python3.3和Pandas 0.12)
我的问题由两部分组成。
第一
我正在尝试迭代地将多个csv文件(总计约8GB )读取/追加到基于和的存储中，以创建唯一的索引。我之所以开始这么做，是因为我读到这样做会导致文件快速可访问，并且大小相对较小，从而能够读取到内存中。然而，事实证明，我得到的h5文件大小为18 is。我的(Windows)笔记本电脑有8GB的RAM。我的第一个问题是，为什么产生的h5比原始csv文件的总和大得多？我的第二个问题是，为什么我真的没有一个唯一的索引表？
我的代码如下：
def to_hdf(path):
""" Functi
浏览 4提问于2013-08-20得票数 1
回答已采纳
我有一个非常大的数据集，我通过如下所示的方式以块的形式写入hdf5：
with pd.HDFStore(self.train_store_path) as train_store:
for filepath in tqdm(filepaths):
with open(filepath, 'rb') as file:
frame = pickle.load(file)
if frame.empty:
os.remove(filepath)
continue
浏览 5提问于2019-12-10得票数 4
回答已采纳
有时，我从我的HDF5文件中得到以下数组：
val1 = {ndarray} [<HDF5 object reference> <HDF5 object reference> <HDF5 object reference>]
如果我尝试用HDF5文件对象取消引用
f[val[0]]
我犯了个错误
Argument 'ref' has incorrect type (expected h5py.h5r.Reference, got numpy.object_)
浏览 4提问于2016-02-18得票数 6
1回答
我正在运行一个脚本，它遍历一个文件夹并创建一组组来复制HDF5文件中的目录。然后，我将遍历这些文件并将文件中的数据添加到HDF5数据集中。但是，我希望将数据集保存到正确的组中，但不确定如何保存？
#Development Script Save files in groups
#Create HDF5 File name
TestFilename = 'N:/TestingPyhonHDF5/progress/automation/GroupTesting.h5'
#Set target directory to extract data
TargetFolder =
浏览 8提问于2022-10-20得票数 0
回答已采纳
我在列中有天文数据，看上去像这样
M200c, M200m, dec, ra
19.4, 20.4, 1.33, 4.68
...
我需要以hdf5格式保存我的数据，这样它就可以输入到脚本中。我知道hdf5文件应该具有的结构，从提供的示例来看，它提供了这样的结构：
import nexusformat.nexus as nx
f = nx.nxload('example_input_file.hdf5')
print(f.tree)
>>> root:NXroot
>>> Data:NXgroup
>>> M2
浏览 6提问于2022-10-28得票数 0
回答已采纳
1回答
我必须处理hdf5文件。它们中的每一个都包含可以加载到由100列和近5E5行组成的pandas DataFrame中的数据。每个hdf5文件重约130MB。
因此，我想从hdf5文件中获取数据，然后应用一些处理，最后将新数据保存到csv文件中。在我的例子中，过程的性能非常重要，因为我必须重复它。
到目前为止，我一直专注于Pandas和Dask来完成这项工作。Dask对并行化很有好处，我会在更强大的PC和更多的CPU上获得更好的处理时间。
然而，你们中的一些人已经遇到了这个问题，并找到了最好的优化方案？
浏览 23提问于2021-02-22得票数 0
如果length of my position attribute is m和length of my index attribute is n，其他(自定义)属性的正确长度应该是多少？
例如，如果我有一个矩形的曲面来绘制；
4 points => 4*3 = length of positions is 12,
2 triangles => 2*3 = length of index attribute is 6
如果我需要颜色属性(rgba)，数组的长度应该是多少？
4 * 4 = 16 or 6*4 = 24 ?
浏览 2提问于2016-07-27得票数 0
回答已采纳
1回答
我有一个数据文件，我想以附录格式保存到一个hdf5文件中。dataframe如下所示：
column1
0 [0, 1, 2, 3, 4]
复制问题的代码是：
import pandas as pd
test = pd.DataFrame({"column1":[list(range(0,5))]})
test.to_hdf('test','testgroup',format="table")
不幸的是，它返回了以下错误：
------------------------------------------------
浏览 7提问于2022-11-18得票数 1
回答已采纳
因此，我将数据文件解析为pandas数据帧，然后使用HDFStore将文件保存到hdf5。代码：
def convert_folder_hdf5(folder, save_loc=None):
if save_loc is None:
save_loc = folder
filename = save_loc+'\\' + (folder.split('\\')[-1])+'.h5'
store = pd.HDFStore(filename, format="table", complev
浏览 2提问于2014-09-13得票数 2
当我使用pandas将csv文件转换为hdf5文件时，结果文件非常大。例如，170Mb的测试csv文件(23列，130万行)将生成2 2Gb的hdf5文件。然而，如果绕过pandas，直接写入hdf5文件(使用pytables)，那么它只有20Mb。在以下代码中(用于在pandas中执行转换)，数据帧中对象列的值被显式转换为字符串对象(以防止酸洗)：
# Open the csv file as pandas data frame
data = pd.read_csv(csvfilepath, sep=delimiter, low_memory=False)
# Write the resu
浏览 0提问于2014-04-28得票数 0
我有一个非常大的熊猫数据文件存储在hdf5文件中，我需要重命名数据文件的列。
简单的方法是使用HDFStore.select以块读取数据块，重命名列并将数据块存储到另一个hdf5文件中。
但我认为这是一种愚蠢而低效的方式。有办法直接重命名hdf5文件中的列吗？
浏览 1提问于2015-08-18得票数 1
回答已采纳
1回答
我正在解析由制表符分隔的数据，以创建表格数据，我希望将其存储在HDF5中。
我的问题是，我必须将数据聚合成一种格式，然后转储到HDF5中。这是~1 TB大小的数据，所以我自然不能把它放入RAM中.达斯克可能是完成这一任务的最佳方式。
如果我使用解析我的数据来适应一个熊猫的数据，我会这样做：
import pandas as pd
import csv
csv_columns = ["COL1", "COL2", "COL3", "COL4",..., "COL55"]
readcsvfile = csv.r
浏览 3提问于2016-10-09得票数 14
回答已采纳
1回答
我使用Python语言处理大量文件，需要直接用HDF5编写输出(每个输入文件对应一个数据帧)。我想知道从我的脚本直接向HDF5快速写入pandas数据帧的最好方法是什么？我不确定是否有像hdf5，hadoopy这样的python模块可以做到这一点。在这方面的任何帮助都将受到感谢。
浏览 10提问于2016-08-12得票数 3
1回答
我正在解析来自一个大型csv大小为800 GB的数据。对于每一行数据，我将其保存为熊猫数据。
readcsvfile = csv.reader(csvfile)
for i, line in readcsvfile:
# parse create dictionary of key:value pairs by csv field:value, "dictionary_line"
# save as pandas dataframe
df = pd.DataFrame(dictionary_line, index=[i])
现在，我想将其保存为HDF5格
浏览 4提问于2016-10-07得票数 1
回答已采纳
我正在尝试使用hdf5包从Python的.mat文件中读取子文件夹。我可以从数据库中提取整数和值，但无法读取字符串。result=matfile[“/pro/tttt/rrr”]
Return是一系列列表：
[[<HDF5 object reference>] [<HDF5 object reference>] [<HDF5 object reference>]]
我需要提取这些字符串，并将它们与另一列组合为其标头。有什么建议吗？
浏览 2提问于2021-05-14得票数 0
我有以下问题。现在，我正在构建一个分类器系统，它将使用文本和一些额外的免费信息作为输入。我将免费信息存储在熊猫DataFrame中。我使用CountVectorizer对文本进行转换，得到一个稀疏矩阵。现在，为了训练分类器，我需要在相同的数据帧中有两个输入。问题是，当我将数据和CountVectorizer的输出合并时，就会得到一个密集的矩阵，这意味着内存耗尽得非常快。是否有任何方法可以避免这种情况，并将这2种输入正确地合并到单个数据帧中，而不会得到密集的矩阵？
示例代码：
import pandas as pd
from sklearn.ensemble import GradientBoo
浏览 5提问于2017-04-23得票数 6
回答已采纳
我有一个多维的熊猫数据图，像这样创建的：
import numpy as np
import pandas as pd
iterables = [['bar', 'baz', 'foo', 'qux'], ['one', 'two']]
mindex = pd.MultiIndex.from_product(iterables, names=['first', 'second'])
df = pd.DataFrame(np.random.randn(8, 4), in
浏览 0提问于2018-08-23得票数 4
我需要HDF5文件中的get Group list，Dataset list，Attribute list，但我不知道list get功能。
获取列表的函数是什么？
我的库是HDFGROUP - hdf5-1.8.14。
浏览 3提问于2015-08-14得票数 1
6回答
我使用以下代码将hdf5文件作为numpy数组读取：
hf = h5py.File('path/to/file', 'r')
n1 = hf.get('dataset_name')
n2 = np.array(n1)
当我打印n2时，我会得到这样的结果：
Out[15]:
array([[<HDF5 object reference>, <HDF5 object reference>,
<HDF5 object reference>, <HDF5 object reference>.
浏览 1提问于2017-10-13得票数 22
好吧，这里似乎有几个类似的问题在堆栈溢出中被问到，但是没有一个问题看起来答案正确或正确，也没有描述过确切的例子。
我在将数组或列表保存到hdf5时遇到了问题.
我有几个文件包含(n，35)维的列表，其中n在每个文件中可能不同。它们中的每一个都可以用下面的代码保存在hdf5中。
hdf = hf.create_dataset(fname, data=d)
然而，如果我想要合并他们在3d中的错误发生如下所示。
对象dtype dtype('O')没有本机HDF5等效
我不知道为什么它会变成dtype对象，因为我所做的只是
all_data = list()
for fnam
浏览 2提问于2018-11-18得票数 10
1回答
从excel表格构建hdf5结构
、、、、
我正在从Excel表中构建一个键列表：
我希望每个键都有一个'X‘和一个'Y’子组。然后将其保存到密钥列表中：
import pandas as pd
df = pd.read_excel('file.xlsx', usecols = ['A','B','C'])
print(df)
keylist = []
list1, list2, list3 = df['A'].tolist(), df['B'].tolist(), df['C'].tolist(
浏览 0提问于2018-04-04得票数 1
我有几个MATLAB变量的以下数据区，我保存在test.mat文件中使用-v7.3标志，并希望读回使用h5py模块的其他目的。
load('test.mat'); % give me this
struct with fields:
volume: [4240×1 double]
centroid: [4240×3 double]
faces: {4240×1 cell}
nuc: {4240×1 cell}
我可以读取双字段变量，但无法访问单元格字段变量。有什么方法可以从python访问nuc和faces变量吗？
浏览 0提问于2020-01-09得票数 0
我想通过使用阅读h5py
In [117]: def printname(name):
...: print(name)
...:
In [118]: data['/digitStruct'].visit(printname)
bbox
name
数据中有两个组，bbox和name，name是对应于文件名数据的组名，bbox是对应于宽度、高度、顶部、左边和标签数据的组名。
如何访问name和bbox组中的所有数据？
我尝试过使用中的以下代码，但它只是返回HDF5对象引用。
In [119]: for i in data['/digitStr
浏览 3提问于2016-12-16得票数 8
回答已采纳
1回答
不幸的是，我无法检查这一点，因为我没有IDL或Matlab许可证，这就是我在这里问的原因。
场景是，我用熊猫保存HDF5文件，其中一个列是对象。IDL和Matlab有很好的HDF5读取库(至少我听说过)，但是IDL/Matlab用户能够对HDF5文件中的datetime对象做任何有用的事情吗？
浏览 2提问于2014-03-05得票数 2
回答已采纳
我尝试将每个数据集从CASdatasets包(http://cas.uqam.ca/)循环中导出，并将它们保存到一个hdf5文件中，以便将它们作为pandas数据帧加载到python中。但是，我不像python那样熟悉R。有没有一种方法可以遍历包中的每个数据集并将每个数据集作为hdf5文件保存到磁盘上？ 到目前为止，我已经 install.packages("CASdatasets", repos = "http://dutangc.free.fr/pub/RRepos/", type="source")
library(CASdatasets
浏览 4提问于2020-01-07得票数 1
2回答
我试图将outlook电子邮件正文内容保存到dataframe，然后保存到csv/excel，我们通常以表格格式从供应商那里获得不同指数的价格，我尝试使用Body_content = message.HTMLBody，但没有按意图工作。
因此，我可以使用Body_content = message.Body和print (df.To_string())。现在，下一步是将这些值存储在excel工作表中，即使它是以下面的格式打开的。
我们不断地从不同的供应商获得指数价格，如果这一个完美的工作，我将遵循同样的方法，以及其他人。
输出
--这就是它如何得到一个单列dataframe
浏览 8提问于2022-06-05得票数 2
数据将保存到hdf5文件中，但一个文件总共需要大约30秒的保存时间。一旦数据被保存到一个hdf5文件中，该文件将被立即使用，直到下一个hdf5文件完成，并且该过程将像这样继续下去。是否有一种简单的方法来检查是否完成了hd5文件的加载，然后才能使用它？hdf5文件大约为10-20MB，将全部保存在同一个文件夹中。当然，我也许可以在30秒以上设置一个计时器，但我对尽可能低的时间感兴趣，这意味着我需要确切地知道每个hdf5文件何时完成获取数据。
我有几个想法：
测量文件大小从一个时间点到另一个点的差异。如果没有更改，则假设文件已完成加载。，，我对hdf5文件不太了解，但也许每个hdf5文件的末尾都有
浏览 3提问于2021-09-05得票数 0
回答已采纳
我有几个以逗号分隔的数据文件，我想要加载到xarray数据集中。每个文件中的每一行表示固定网格中字段的不同空间值，每个文件代表不同的时间点。网格间距是固定的，时间不变。网格的间距不均匀。最终目标是计算max_{x, y} { std_t[ value(x, y, t) * sqrt(y **2 + x ** 2)] }，其中sqrt是平方根，std_t是相对时间的标准差，max_{x, y}是所有空间的最大值。
我在加载数据时有问题。我不清楚如何将几个CSV文件加载到xarray数据集中。有一个open_mfdataset函数，它设计用于将多个数据文件加载到一个数据集中，但似乎需要hdf5或n
浏览 2提问于2020-12-29得票数 3
回答已采纳
我想存储一个pandas DataFrame，这样当我稍后再次加载它时，我只加载它的某些列，而不是整个内容。因此，我正在尝试以hdf格式存储一个pandas DataFrame。DataFrame包含一个numpy数组，我得到以下错误消息。 有没有关于如何摆脱这个错误的想法，或者我可以使用什么格式？ 代码： import pandas as pd
import numpy as np
df = pd.DataFrame({"a": [1,2,3,4], "b": [1,2,3,4]})
df["c"] = [np.ones((4,4)) fo
浏览 78提问于2021-04-29得票数 3
回答已采纳
1回答
我有一个相当大的HDF5文件，其中存储了一个大型的时间序列数据集，其中包含150名参与者的眼球跟踪数据。
In [20]: f['data_collection/events/eyetracker/BinocularEyeSampleEvent/']
Out[21]: <HDF5 dataset "BinocularEyeSampleEvent": shape (8297323,), type "|V178">
我不能将所有这些内容读入内存，因为它太大了，但是我如何读取其中的一部分呢？
我想做这样的事情--一次读一个参与者(参与者的列
浏览 3提问于2013-12-02得票数 2
我正在使用带有JLD和HDF5的Julia1.1将文件保存到磁盘上，在那里我遇到了一些关于内存使用的问题。 问题1： 首先，我定义了一个4 GB的矩阵A。 A = zeros(ComplexF64,(243,243,4000)); 当我键入命令并查看windows任务管理器时： A=nothing Julia花了几分钟才把这些内存释放给我。大多数时候，(在任务管理器中) Julia根本不释放内存使用，即使命令返回的结果表明A立即占用了0个字节。 varinfo()
name size summary
–––––––––––––––– –––––
浏览 44提问于2019-03-23得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
