腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
从
多个
内存
映射
数组
创建
大型
ndarray
numpy
我有
多个
大图像存储在光盘的二进制(fits)文件中。每个
数组
都具有相同的形状和数据类型。 我需要读入这些图像中的N个,但希望保留
内存
映射
,因为它们会占用RAM。然而,理想情况下,我希望将其视为一个numpy
数组
(形状为n,ny,nx),例如,为了便于转置等。 有没有可能,不将这些内容读入RAM?注意:在实践中,我需要的是更复杂的,相当于读取列表列表(例如,M个元素列表,每个元素本身是N个元素列表,每个元素是一个
ndarray
图像),但上面简单情况的答案应该足够了。 谢谢你的帮助。
浏览 18
提问于2021-01-22
得票数 0
2
回答
Python
ndarray
格式大文件,
内存
错误
python
、
performance
、
numpy
我对numpy有意见: 但是,当文件太大时,将文件targets.csv加载到
ndarray
中会导致MemoryError (超过150个,我有12个Go .)
浏览 4
提问于2014-02-10
得票数 0
回答已采纳
4
回答
是否为numpy
数组
定义了最大大小?
numpy
如果我尝试执行:在我的jupyter笔记本中,它抛出了一个错误<ipython-input-35-0aedb09803e9> in <module>() 2 #np.empty(shape=(108698-0,200,1000)) ----> 3 np.empty(shape=
浏览 0
提问于2017-08-10
得票数 0
2
回答
Boost python:将
大型
数据结构传递给python
python
、
c++
、
boost
我想绘制该矩阵的列,并且我认为我有
多个
选项可以这样做: 迭代每个值并将其复制到一个numpy
数组
中->我不想这样做,原因很明显是
内存
消耗增加了一倍。在性能和
内存
消耗方面,哪一种是最好的选择,或者是否有更好的方法来完成这种任务。
浏览 2
提问于2015-05-14
得票数 3
回答已采纳
1
回答
numpy
数组
的
内存
映射
文件
numpy
、
memory
、
large-files
、
large-data
我需要读取存储在
内存
映射
文件中的巨大numpy
数组
的一部分,处理数据并对
数组
的另一部分重复。整个numpy
数组
大约占用50 GB,而我的机器有8 GB的RAM。我最初使用numpy.memmap
创建
内存
映射
文件,方法是读取大量较小的文件并处理它们的数据,然后将处理后的数据写入
内存
映射
文件。下面是我尝试
从
内存
映射
文件中读取数据的方法: mmapData = np.m
浏览 3
提问于2014-10-05
得票数 6
2
回答
numpy.array中的零条目会占用
内存
吗?
python
、
multidimensional-array
、
numpy
、
python-3.x
、
sparse-matrix
假设我使用numpy
数组
(例如numpy.
ndarray
)来存储
大型
稀疏矩阵(即,大多数条目都是0):0条目真的占用
内存
吗?numpy是否支持稀疏
数组
,如果支持,使用的是哪个?
浏览 4
提问于2012-05-09
得票数 4
回答已采纳
1
回答
避免在numpy和mxnet之间的
数组
转换过程中复制
python
、
numpy
、
multidimensional-array
、
copy
、
mxnet
我想在我的数据处理管道中减少一个
内存
复制步骤。
从
python调用C库(通过ctype)来填充numpy
数组
。将numpy
数组
转换为m
浏览 1
提问于2018-12-31
得票数 1
2
回答
如何在加载numpy文件时避免
内存
映射
python
、
numpy
0.08,0.07,0.09,0.06,0,0,0.21,0.02,0,0,0,0,0,0,0,0.1,0.36,0,0,0我用这种方式保存
数组
'shape': (680, 20), }profile_matrix=np.load(npy_profile,"r") 类类型是numpy.memmap,而不是numpy.
ndarray
浏览 9
提问于2022-01-31
得票数 0
回答已采纳
1
回答
python中ROI的重心
python
、
numpy
、
scipy
、
roi
我有一个ROIs的Nifti文件,它是一个192 x 192 x 12的
数组
,希望能够找到整个东西的质心以及12个切片中的每一个。
浏览 3
提问于2014-08-19
得票数 2
1
回答
使用cython对python中的小
数组
进行高效的数学运算
python
、
arrays
、
performance
、
numpy
、
cython
我使用numpexpr对
大型
数组
进行快速计算,但如果
数组
的大小小于CPU缓存,则使用简单的
数组
数学方法在Cython中编写代码会更快,特别是在多次调用函数的情况下。问题是,如何在Cython中使用
数组
,或者更明确地说:在Cython中是否有到Python的array.array类型的直接接口?for i in xrange(1,n-1):我第一次尝试使用Cython numpy包装器并使用
nd
浏览 1
提问于2011-03-19
得票数 9
1
回答
是否可以将python对象(特别是sklearn模型)存储在
内存
映射
的文件中?
python
、
scikit-learn
、
shared-memory
、
memory-mapped-files
我有几个占用大量
内存
的
大型
对象(sklearn模型),我想在
多个
进程之间共享它们。有办法这样做吗? 它必须是“活动”对象,而不是序列化版本。我知道有一个
内存
映射
版本的numpy
数组
,它负责模型
内存
的很大一部分,但使用它们需要对sklearn源代码进行重大更改,这将很难维护。
浏览 1
提问于2016-02-23
得票数 8
回答已采纳
2
回答
numpy
数组
之间的Python共享指针
python
、
arrays
、
numpy
、
pointers
、
shared-ptr
因此,这里我设法在同一个
数组
上有两个指针。但是,
从
几个
内存
位置构建一个
数组
似乎要困难得多。如果有人有主意..。编辑:我的测试2-解决方案的开始Exec time with array update: 0.01200103759765625如果结构不一致(就维度而言),如何将它们正确地放置在全局
数组
中
浏览 5
提问于2017-08-17
得票数 2
回答已采纳
4
回答
通过元素将numpy
数组
与其自身进行有效比较
python
、
numpy
为了制定基准,我们可以使用:A = np.random.randint(0, 1000, n)当我执行此计算时,会遇到
内存
问题。我认为这是因为输出没有采用更有效的位
数组
或np.packedbits格式。其次,我们执行的比较是必要的两倍,因为生成的布尔
数组
是对称的。我要问的问题是: 是否有可能在不牺牲速度的情况下以更有效的
内存
方式产生布尔numpy
数组
输出?我所知道的选项是位
数组
和np.packedbits,但我只知道如
浏览 3
提问于2018-01-16
得票数 6
回答已采纳
2
回答
调整numpy或dataset大小的有效方法?
python
、
numpy
、
h5py
我想了解resize()函数对numpy
数组
和h5py dataset的影响。在我的应用程序中,我将逐行读取文本文件,然后在解析数据后将其写入hdf5文件。什么是实现这一目标的好方法。应该将每个新行添加到numpy
数组
中,并继续调整numpy
数组
的大小(增加轴)(最终将完整的numpy
数组
写入h5py数据集),还是应该直接将每个新行数据添加到h5py dataset中,从而调整
内存
中的
浏览 5
提问于2012-08-16
得票数 3
回答已采纳
2
回答
boost iostream
映射
文件和boost进程间
映射
文件有区别吗?
c++
、
boost
、
interprocess
、
boost-interprocess
、
boost-iostreams
我想
创建
一个
映射
到
内存
中的二进制文件;但是我不确定如何
创建
要
映射
到系统中的文件。我多次阅读文档,发现有两个
映射
文件实现,一个在iostream中,另一个在进程间。你们知道如何在共享
内存
中
创建
一个
映射
文件吗?我正在尝试允许多线程程序读取以二进制文件格式编写的
大型
双精度
数组
。另外,iostream中的
映射
文件和进程间的
映射
文件有什么不同?
浏览 1
提问于2010-03-28
得票数 12
1
回答
使用共享
内存
访问来自不同进程的大数据
python
、
python-3.x
、
pandas
、
multiprocessing
我有一个
大型
的dataframe,我希望使用所有的进程。所有进程只需要对数据文件的只读访问。所以在我的脑海里,我做了如下的线条。然后,在每个进程使用的某个函数中,使用共享
内存
对象。我试图遵循下面的示例,但是对于numpy,我不想将我的数据转换为numpy
数组
。看起来他们必须为每个进程重新
创建
numpy
数组
,这对我来说是没有意义的。c array([1, 1,
浏览 4
提问于2022-07-18
得票数 0
2
回答
如何
从
迭代器构建对象numpy
数组
?
python
、
arrays
、
numpy
我想从一个可迭代的NumPy
数组
中
创建
一个np.
ndarray
数组
。这是因为我有一个函数将返回一些常量形状的np.
ndarray
,我需要从这个函数
创建
一个结果
数组
,如下所示: # processing retur
浏览 3
提问于2022-02-18
得票数 0
回答已采纳
1
回答
如何有效地处理
大型
复杂的numpy
数组
?
python
、
arrays
、
numpy
、
complex-numbers
、
memory-efficient
为了我的研究,我正在处理由复杂数据组成的
大型
numpy
数组
。加载这些
数组
是一个耗时的过程,这让我想知道是否有方法加快这个过程。我正在考虑的事情之一是将
数组
分割成复杂而真实的部分:arr_im = arr.imag 并分别保存每一部分。然而,这似乎并没有显著提高处理速度。有一些关于使用
大型
数组
的文档,但我还没有找到关于处理复杂数据的很多信息。是否有智能(呃)方法来处理
大型
复杂
数组
?
浏览 2
提问于2017-05-17
得票数 0
回答已采纳
1
回答
什么是最有效的:对ArrayBase或ArrayView的引用?
rust
、
rust-ndarray
我正在改进使用
ndarray
机箱操作
数组
的锈蚀代码库。我有一个问题,我在文件中找不到明确的答案。我的目标是避免无用的
内存
分配/复制,这在处理
大型
数组
浏览 9
提问于2022-01-07
得票数 1
回答已采纳
1
回答
在结构化的
ndarray
中添加字段而不复制数据的
内存
友好方式?
python
、
arrays
、
numpy
、
memory
、
structured-array
要将字段添加到结构化numpy
数组
中,只需
创建
一个具有新dtype的新
数组
,复制旧字段,并添加新字段。但是,我需要对一个占用大量
内存
的
数组
这样做,而且我不想复制所有的
内存
。我自己的实现和numpy.lib.recfunctions.append_fields中的慢实现都重复
内存
。 有没有一种方法可以在不重复
内存
的情况下向结构化
ndarray
添加字段?这意味着,一种避免
创建
新
ndarray
的方法,还是
浏览 3
提问于2016-10-10
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
numpy基础
机器学习之计算工具库(一)
Numpy基础知识点汇总
NumPy基础:多维数组
想学AI?先来一碗numpy的纯干货吧!
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券