复制numpy memmap数组时会发生什么？
复制numpy memmap数组时，会创建一个新的memmap数组对象，并将原始数组的数据复制到新数组中。具体发生的步骤如下：
- 创建一个新的memmap数组对象，该对象具有与原始数组相同的形状和数据类型。
- 分配内存空间以容纳新数组的数据。
- 将原始数组的数据复制到新数组中。
- 返回新数组对象。
复制numpy memmap数组的目的通常是为了在不修改原始数组的情况下进行进一步的操作或分析。由于memmap数组是基于磁盘上的文件映射的，因此复制操作不会直接复制磁盘上的数据，而是复制内存中的数据。
复制numpy memmap数组的优势在于可以在不加载整个数组到内存中的情况下进行操作，这对于处理大型数据集非常有用。此外，memmap数组还可以实现数据的持久化存储，即使在程序结束后，数据仍然可以通过文件访问。
适用场景：
- 处理大型数据集：由于memmap数组可以将数据存储在磁盘上，并且只在需要时将其加载到内存中，因此非常适合处理大型数据集，如图像、音频、视频等。
- 持久化存储：memmap数组可以将数据持久化到磁盘上的文件中，以便在程序结束后仍然可以访问和使用数据。
- 避免内存限制：由于memmap数组可以将数据存储在磁盘上，因此可以避免由于数据量过大而导致的内存限制问题。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
- 腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 腾讯云云数据库 MySQL 版（CDB）：https://cloud.tencent.com/product/cdb
- 腾讯云人工智能（AI）：https://cloud.tencent.com/product/ai
- 腾讯云物联网（IoT）：https://cloud.tencent.com/product/iot
- 腾讯云移动开发（移动推送、移动分析、移动测试等）：https://cloud.tencent.com/product/mobile
相关·内容
1回答
复制numpy memmap数组时会发生什么？
python、arrays、numpy
我是从一个70 it的内存映射数组中读取的，但只使用了其中的大约300MB。从的回答中了解到，memmap实际上并不使用物理内存，所以我认为我应该将所需的数组复制到物理内存中以获得更好的性能。然而，当我np.copy()一个memmap和np.info()复制的数组时，这个类就是一个memmap。抛开这种猜测不谈，我发现使用复制数组时内存使用率更高，性能也有所提高。复制的memmap</em
浏览 19提问于2017-02-06得票数 3
回答已采纳
1回答
numpy memmap修改文件
python-2.7、numpy、numpy-memmap
我在理解numpy.memmap的工作方式时遇到了问题。背景是，我需要通过删除条目来减少保存在磁盘上的大型numpy数组。读取数组并通过复制所需的部分来构建一个新的数组是不起作用的-它只是不适合放入内存中。所以我们的想法是使用numpy.memmap --即在光盘上工作。：
1) memmap不包含数组中设置的值，而in_memmap和out_memmap包含相同
浏览 5提问于2017-08-08得票数 0
1回答
创建一个不占用RAM空间的大型字节数组
python、arrays
我需要创建一个非常大的字节数组(~30 GB)，但是当我创建它时，我会得到一个内存错误，因为没有足够的RAM来存储它。
浏览 2提问于2022-02-06得票数 0
1回答
如何绕过ValueError:数组是太大的错误？
python、arrays、numpy、scipy、orange
然而，根据我的理解，我必须创建一个仅接受numpy数组作为参数的Table。因此，每当我试图使用(.toarray())将csr矩阵转换为数组时，就会得到以下错误(因为矩阵的大小)： File "C:\Users当将memmap传递给表时，我得到以下错误： File "<pyshell
浏览 3提问于2014-01-17得票数 2
回答已采纳
1回答
如何在不复制的情况下缩小熊猫DataFrame的大小？
python、numpy、pandas、reshape
我能不能更改下面的代码，只对X和y使用一些行，而不是复制一份？这将是，即使暂时失败的目的，我想节省内存，而不是增加我的足迹。
浏览 2提问于2014-06-24得票数 2
1回答
numpy memmap无限输出的均值和方差
python、numpy、memory
创建memmap数组： out[index]=(cd_i)(1421392L, 3504L)
浏览 1提问于2015-08-26得票数 2
回答已采纳
1回答
numpy数组的内存映射文件
numpy、memory、large-files、large-data
我需要读取存储在内存映射文件中的巨大numpy数组的一部分，处理数据并对数组的另一部分重复。整个numpy数组大约占用50 GB，而我的机器有8 GB的RAM。我最初使用numpy.memmap创建内存映射文件，方法是读取大量较小的文件并处理它们的数据，然后将处理后的数据写入内存映射文件。机器变慢了，我什么也做不了。[5,1:1e7]
我认为使用mmap或numpy.memmap应该允许我访问大型数组</em
浏览 3提问于2014-10-05得票数 6
1回答
numpy数组-从磁盘逐行加载-内存效率，但速度快
python、numpy、memory、generator、latency
是否有一种方法可以将numpy数组从磁盘进行管道处理，并以这种方式保存？编辑:基于@Lukas和@hpaulj注释，我尝试了memmap，但结果却令人吃惊地不太好，因为memmap在内存中崩溃的速度比加载完整数组更快。WINDOWS 10
我在磁盘上保存了1000个numpy数组( them = 500,30,3)，并尝试用np.load缓存它们，用memmap读取np.load来缓存它们。cache '.format((i+1)*1000)
浏览 0提问于2019-02-16得票数 4
回答已采纳
2回答
使用内存映射缓冲区进行枕叶稀疏
python、numpy、scipy、sparse-matrix
我必须处理稀疏矩阵，它有时会非常大，接近或超过RAM容量。我还需要支持mat*vec和mat*mat操作。因为在内部，csr_matrix是3个数组( data、indices和indptr )，所以可以从numpy memmap创建csr矩阵。
浏览 0提问于2018-04-14得票数 1
回答已采纳
1回答
理解numpy memmap的性能
python、performance、numpy
我试图更好地理解numpy的memmap是如何处理非常大文件的视图的。下面的脚本打开内存映射的2048^3数组，并复制该数组的缩减采样的128^3视图from time import time
array = np.memmap(FILE, mode='r', shape=(2048,20
浏览 2提问于2012-08-07得票数 5
回答已采纳
2回答
在小块中创建非常大的NUMPY数组(PyTables与numpy.memmap)
python、numpy、large-files、mmap、pytables
问题：
我从文件中读取了几个小的numpy数组(每个大约10MB)，并对它们进行了一些处理。我想创建一个更大的数组(~1TB)，其中数组中的每个维度都包含来自其中一个较小文件的数据。任何试图在RAM中创建整个较大数组(或其中很大一部分)的方法都是不合适的，因为它会淹没RAM并使机器停机。因此，我需要能够初始化较大的数组并以小批的形式填充它，以便将每一批写入磁盘上的较大的数组。我最初认为numpy.memmap是可行的，但当我发出如下命
浏览 0提问于2014-10-06得票数 4
1回答
在网格搜索中返回numpy.core.memmap而不是numpy.Number的得分
numpy、scikit-learn、joblib
我们能够(仅在应用程序atm的上下文中)在Ubuntu15.04和OS上使用scikit 0.17进行复制，这是在较大的数据集中使用GridSearchCV和LogisticRegression时出现的问题tol=0.0001, verbose=0, warm_start=False), X=memmap([[ 0.00000000e+00, 1.29659900e+06, 5...000000eestimator, X, y, cv, scorer):
ValueError: scoring must return a number, got
浏览 2提问于2016-01-18得票数 1
回答已采纳
2回答
numpy memmap运行时错误....64位系统，2Gigas限制？
numpy、64-bit、numpy-memmap
我正在尝试用numpy memmap创建一个大文件C:\Users\nuria\AppData\Local\Continuum\anaconda3\envs\caiman\lib\site-packages\numpydims[1:]), len_im), order=order)
~\AppData\
浏览 9提问于2018-07-31得票数 0
2回答
将numpy memmap刷新为npy文件
python、numpy、mmap、memory-mapped-files
是否有方法将numpy memmap数组保存到.npy文件中？显然，有一种方法可以从.npy文件中加载这样的数组，如下所示但是，刷新文件并不等同于以.npy格式存储文件。如果冲洗是唯一的方法，那么是否有办法推断存储数组的形状？我更喜欢在另一个脚本中自动存储和检索动态形状(可能再次作为memmap )。
关于这件事，我找了很多地方，但没有得
浏览 5提问于2016-04-21得票数 8
回答已采纳
1回答
memmap的数值平均值大于最大值
python、numpy、numpy-memmap
我有一个时间戳数组，在矩阵X的第二列中每行增加一次。我计算时间戳的平均值，它大于最大值。我使用numpy memmap进行存储。为什么会发生这种情况？>>> self.X[:,1] 1.45997146e+0909, 1.45997939e+09], dtype=float32)
>>> np.mean(s
浏览 4提问于2016-04-10得票数 6
2回答
在大型ndimage.convolve上执行numpy.memmap:无法为数组分配56.0 GiB
python、numpy、convolution、ndimage、numpy-memmap
在试图在大型ndimage.convolve上执行numpy.memmap时，会出现异常：似乎convolve创建了一个常规的numpy数组，它不适合内存。
浏览 14提问于2022-07-10得票数 0
回答已采纳
1回答
Numpy memmap更好的IO和内存使用
python、numpy、mmap、memory-mapped-files
目前，我正在使用一个包含2,000,000 * 33 * 33 *4 (N *W*H* C)数据的NumPy memmap数组。我的程序从这个数组中读取随机(N)索引。有什么方法让我告诉memmap最大限度地使用IO和RAM吗？
浏览 11提问于2016-09-06得票数 2
回答已采纳
1回答
对Memmapped数组执行操作的正确方法
python、numpy
我一直在常规的Numpy数组上这样做，但是在一个备忘录中，我想知道它是如何工作的。) * 100这就是我在正常的numpy数组上使用的。(len(arr1)) * 100arr2[:] = np.argsort(np.argsort(arr1,axis=0),axis=0) / float(len(arr1)) * 100
有什么
浏览 2提问于2014-08-29得票数 7
回答已采纳
2回答
NumPy内存映射性能问题
python、numpy、numpy-memmap
我有一个大型的(75000×5×6000) 3D数组，存储为一个NumPy内存映射。如果我简单地遍历第一个维度，如下所示：import time
a = np.memmap(r"S:\bin\Preprocessed\mtb.dat", dtype然而，当我试图在一个更大的程序中迭代相同的memmap时，对memmap的单个调用将花费多达0.1秒的时间，而提取所有75000条记录将花费近10分钟的时间。更大的程序太长，无法在这
浏览 8提问于2017-03-17得票数 1
1回答
选择batch_size和pre_dispatch来优化内存使用和性能
python、parallel-processing、joblib
假设我用一个np.float32类型数组的列表来表示它们(我将把所有的代码放在下面的最小示例中)。对于备用单元格，我将定义dtw函数来创建一个随机矩阵，并返回最后一个单元格(行和列)中的值。import numpy as np
n = 20000
x操作的数量(在本例中为4亿，因为在20000个样本中都是对的)
我的计算机的内存(64 GB)，有什么</em
浏览 2提问于2022-05-25得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
即时通信 IM
ICP备案
云直播
实时音视频活动推荐
腾讯云开发者
