我有一个12 GB大小的数字内存映射矩阵S。我正在试着对每一行进行大排序。为此，我定义了另一个内存映射数组first_k来保存结果。问题是发生了内存错误。代码如下：first_k[:] = np.memmap.argsort
浏览 10提问于2019-11-12得票数 0
回答已采纳
1回答
我使用numpy.memmap 只将数组的部分加载到我需要的内存中，而不是加载整个庞大的数组。我也想对bool数组做同样的事情。不幸的是，bool memmap数组没有在经济上存储：根据ls，bool memmap文件所需的空间与具有相同数组形状的uint8 memmap文件一样大。所以我使用numpy.unpackbits 来节省空间。不幸的是，似乎不是懒惰的：
浏览 0提问于2018-06-14得票数 0
回答已采纳
1回答
是否有一种方法可以将numpy数组从磁盘进行管道处理，并以这种方式保存？编辑:基于@Lukas和@hpaulj注释，我尝试了memmap，但结果却令人吃惊地不太好，因为memmap在内存中崩溃的速度比加载完整数组更快。WINDOWS 10
我在磁盘上保存了1000个numpy数组( them = 500,30,3)，并尝试用np.load缓存它们，用memmap读取np.load来缓存它们。cache '.
浏览 0提问于2019-02-16得票数 4
回答已采纳
1回答
我使用Python的multiprocessing模块并行处理大型numpy数组。这些数组是在主进程中使用numpy.load(mmap_mode='r')映射内存的.在此之后，multiprocessing.Pool()会对流程进行分叉(我猜是这样)。使用Python2.7.2，OS，NumPy 1.6.1。
经过一些调试，我找到了一个代码路径，该代码路径使用这个内存映射的numpy数组</em
浏览 3提问于2012-04-01得票数 22
回答已采纳
我有内存方面的问题，我想缩小我加载的数据的大小(不幸的是，使用read_stata()不能只有几行)。我能不能更改下面的代码，只对X和y使用一些行，而不是复制一份？这将是，即使暂时失败的目的，我想节省内存，而不是增加我的足迹。或者可能首先缩小数据的大小(如果您指定的大小小于原始大小，“`reshape”是否会在没有副本的情况下执行此操作？)然后再选一些专栏？
浏览 2提问于2014-06-24得票数 2
import numpy as npdem_name = open('./len(vals)但是，当我试图使用此代码加载整个光栅时，显然会出现内存错误。我的计算机有9Tb的磁盘空间，但仅限于16 of的内存，因此我使用numpy.memmap将光栅值输入到数组中。
dem_name = open('.vals_real =
浏览 3提问于2017-05-26得票数 0
回答已采纳
1回答
我有一个ROIs的Nifti文件，它是一个192 x 192 x 12的数组，希望能够找到整个东西的质心以及12个切片中的每一个。nib.load(cm)CM = ndimage.measurements.center_of_mass(roi_data)TypeError: 'numpy.float64' object is not iterableCM = ndimage.measuremen
浏览 3提问于2014-08-19得票数 2
我需要从一个目录中获取10万个图像，把它们都放在一个大字典中，其中键是图片的I，值是图像像素的数字数组。创建这个dict需要19 GB的内存，我总共有24 GB的内存。然后，我需要根据键对字典进行排序，最后只取这个有序字典的值，并将其保存为一个大的numpy数组。我需要这个大的numpy数组，因为我想将它发送到train_test_split sklearn函数，并将整个数据分割成与标签相关的训练和测试集。我发现了这样一个问题:在创建
浏览 0提问于2019-01-04得票数 0
回答已采纳
2回答
我有一个大型的(75000×5×6000) 3D数组，存储为一个NumPy内存映射。如果我简单地遍历第一个维度，如下所示：import time
a = np.memmap(r"S:\bin\Preprocessed\mtb.dat", dtype然而，当我试图在一个更大的程序中迭代相同的memmap时，对memmap的单个调用将花费多达0.1秒的时间，而提取所有75000条记录将花费近10
浏览 8提问于2017-03-17得票数 1
我通常只想对这些立方体的一部分进行分析。此部分太大，无法保存在内存中。我希望对我感兴趣的切片有一个numpy样式的视图，而不是将数据复制到内存中(类似于您可以使用numpy memmap所做的操作)。据我所知，使用h5py执行切片时，会在内存中得到一个numpy数组。
有人问我为什么要这样做，因为数据无论如何都要进入内存。出于需要，我的代码已经对这些立方体中的数据
浏览 1提问于2015-01-07得票数 10
我的程序经常使用非常大的numpy数组((819200,460800，4)，uint8)。要将它存储在内存中(作为纯零)，我需要超过1.3TB的内存，这是荒谬的。我的目标是能够将这些numpy数组保存为图像。我也希望它尽快，但速度不是一个问题。
png.
浏览 19提问于2020-06-07得票数 4
回答已采纳
我对numpy的memmap在使用复制即写(mmap_mode=c)时如何处理数据更改感到困惑。我试图减少我在共享集群上运行的机器学习脚本的内存使用量(每个实例所使用的内存越少，我可以同时运行的实例就越多)。我的数据是非常大的numpy数组(每个>8GB)。我希望使用np.memmap来处理这些内存小的数组(可用的<4GB)。
但是，每个实例可能会以不同的方式修改数据(例如，每次可能选择以不同的方式<em
浏览 3提问于2019-01-02得票数 8
问题：
我从文件中读取了几个小的numpy数组(每个大约10MB)，并对它们进行了一些处理。我想创建一个更大的数组(~1TB)，其中数组中的每个维度都包含来自其中一个较小文件的数据。任何试图在RAM中创建整个较大数组(或其中很大一部分)的方法都是不合适的，因为它会淹没RAM并使机器停机。因此，我需要能够初始化较大的数组并以小批的形式填充它，以便将每一批写入磁盘上的较大的数组。我最初认为numpy.memmap
浏览 0提问于2014-10-06得票数 4
1回答
我之前的尝试都是针对Cupy的，但我对任何cuda方法都持开放态度。我提到了我如何尝试使用Cupy，它允许您在memmory映射模式下打开numpy文件。import osimport cupy
#Create .npy files.在错误发生时，我的CPU内存为16 GPU，而GPU内存为0.32吉。我正在使用Google，我的CPU Ram是25G，GPU是12G。所以看起来，在整个文件托管在主机内存
浏览 0提问于2019-09-02得票数 5
回答已采纳
2回答
我注意到对于长度为~10000的object数据类型的1Dnumpy数组，.npy文件的加载时间很长(~10分钟)。该数组中的每个元素都是一个长度约为5000的有序字典(OrderedDict，集合包中的字典子类)。那么，如何高效地将大型NumPy阵列保存到磁盘以及从磁盘加载大型阵列？
浏览 0提问于2017-05-19得票数 0
我在一台内存为8 8gb的机器上用python创建一个非常大的netCDF文件时遇到了问题。我用numpy.memmap创建了一个非常大的数组，以便将此数组放在磁盘中，而不是ram中，因为它的大小超过了可用的ram和交换空间。longitude',),\当代码到达这一点时，它将保存在磁盘中的数组加载到ram中，然后我就出现了<
浏览 1提问于2015-09-17得票数 2
3回答
大内存映射阵列的有效点积
、、、、
我正在处理一些比较大的、密集的浮点数组，它们目前驻留在PyTables CArray的磁盘上。我需要能够使用这些数组执行高效的点产品，例如C = A.dot(B)，其中A是一个巨大的(~1E4×3E5 float32)内存映射数组，而B和C是驻留在核心内存中的较小的numpy数组。我现在要做的是使用np.memmap将数据复制到内存映射的numpy数组中，然后直接在内存映射
浏览 5提问于2014-01-07得票数 35
1回答
我已经设法在uint16中将这个Dask数组缝合在一起，但是当我试图转换为float32时，我得到了一个内存错误。我尝试过两种方法：(注意：memmap是一个1312x100x196数组，行范围从0到24) NewArray =
浏览 0提问于2015-10-04得票数 3
问题所在
我的应用程序正在提取内存中的zip文件列表，并将数据写入临时文件。然后内存将数据映射到临时文件中，以便在另一个函数中使用。当我在一个进程中这样做时，它工作得很好，读取数据不会影响内存，最大内存大约是40 it。然而，当我使用concurrent.futures进行此操作时，内存将上升到500 to。我不明白的问题是，为什么即使在返回内存映射之后，它仍然保留着内存。我也不理解内存中的内容，因为在单个进程中这样做不会在内
浏览 0提问于2018-08-14得票数 2
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
