腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Python
在
遍历
numpy
数组
列表
时
占用
大量
内存
python
、
loops
、
numpy
、
memory
我正在使用
Python
3和
Numpy
进行一些科学数据分析,我面临着一个与
内存
相关的问题。当循环
遍历
一组
numpy
数组
(几千个)并执行一些中间计算
时
,我注意到
python
占用
的
内存
比我预期的要多6 6GB。
数组
的
列表
,self.TOF和self.N_TRIGS是由几千个浮点
数组
成的
numpy
数组
,self.shutter次是一个具
浏览 36
提问于2019-01-13
得票数 0
回答已采纳
2
回答
存储函数
列表
的最佳方式是什么?
python
我需要在
Python
中存储
大量
的函数规则(大约100000条),
在
...def rule2(x,y): ...将这些函数规则实例存储、管理到
Python
结构中的最佳方式是什么?主要目标是
在
存储到
内存
时
以最快和最小的
内存
占用
进行访问。
浏览 1
提问于2016-09-01
得票数 0
2
回答
使用字典替换
numpy
数组
元素
python
、
arrays
、
numpy
、
dictionary
我有这个
numpy
数组
这本字典我现在
遍历
numpy
数组
,并将这些数字转换为字典中对应的数字,如下所示:但这真的很慢,并且
占用
大量
内存
,因为我正在创建一个新的
列表
。也许在其中我仍然会有相
浏览 4
提问于2015-11-02
得票数 2
1
回答
ValueError:
数组
太大-无法了解如何修复此问题
python
、
arrays
、
python-2.7
、
csv
、
numpy
self.n = self.data.shapem, n = traindata.data.shape不幸的是,
在
我对
浏览 2
提问于2014-02-10
得票数 1
回答已采纳
2
回答
Python
:使用list.sort(cmp=myfnc)的
内存
高效
列表
python
、
sorting
、
numpy
、
large-data
return cmp(x',y') my_list.sort(cmp=my_func)更新:当前的解决方案是一个C函数(
浏览 6
提问于2011-08-06
得票数 2
2
回答
为什么要将
python
列表
转换为
numpy
数组
?
python
、
python-2.7
、
numpy
有一种将
python
中的数字
列表
转换为
numpy
数组
的方法。 但是,我尝试过的简单函数,例如
numpy
.average(x),无论x是简单的
python
列表
还是
numpy
数组
都能工作。在哪种情况下,需要将
python
中的
列表
(或
数组
)转换为
numpy
中的
数组
?
浏览 1
提问于2014-04-11
得票数 3
回答已采纳
1
回答
NumPy
的ndarray与
Python
的
列表
python
、
arrays
、
list
、
numpy
、
numpy-ndarray
我是
Python
的初学者,最近我了解了
NumPy
及其著名的ndarray。一开始,
在
阅读了许多人称赞它们(一些参考文献,,)之后,我想: “那么,如果
NumPy
的
数组
要好得多,并且假设我真的不关心
在
同一个
列表
/
数组
中拥有异构数据类型,那么为什么我要使用
Python
的list呢所以,我的问题是:作为
Python
的初学者,什么时候应该使用
NumPy
的
数组
,什么时候应该使用<e
浏览 1
提问于2019-05-25
得票数 2
回答已采纳
2
回答
有没有一种方法可以通过将
列表
快速转换为
numpy
矩阵来搜索
python
中的
列表
?
python
、
arrays
、
performance
、
numpy
我试图通过循环
遍历
数组
的行并检查
数组
中的值是否与条件匹配来搜索
python
2D
数组
。现在主要的问题是这个
列表
是动态增长的,可能有1000或更多的行。 当我在网上搜索如何使其更快
时
,我发现将
列表
移动到
numpy
矩阵并使用np.where()可以做到这一点。2D
数组
转换为
numpy
矩阵也需要花费
大量
的时间。我的另一个选择是摆脱
python
2D
数组
浏览 29
提问于2019-05-13
得票数 1
1
回答
在
python
中使用
内存
高效的2d可扩展
数组
?
python
、
arrays
、
memory
、
out-of-memory
我正在开发一个处理
大量
数据的应用程序。
Python
在
变量上有
大量
的
内存
开销(根据sys.getsizeof())。例如,一个包含一个整数的基本元组需要56个字节。一个空
列表
,64个字节。严重的开销。
Numpy
数组
对于减少开销非常有用。但它们并不是为高效增长而设计的(参见)。
数组
()看起来很有前途,但它是一维的。我的数据是2d的,一个
数组
的行数和列宽为3个浮点数(
浏览 12
提问于2017-07-22
得票数 0
回答已采纳
1
回答
加载存储
在
PySpark中npz存档中的
numpy
数组
python
、
numpy
、
apache-spark
、
pyspark
我
在
S3中存储了
大量
numpy
数组
,存储
在
npz存档中。将它们加载到PySpark
NumPy
数组
的RDD/Dataframe中的最佳方法是什么?rdd=sc.wholeTextFiles("s3://[bucket]/[folder_containing_npz_files]") 但是,
numpy
.load需要一个文件句柄。并将文件内容作为字符串加载到
内存
中,
占用
浏览 2
提问于2016-02-08
得票数 2
回答已采纳
7
回答
与常规的
Python
列表
相比,
NumPy
的优势是什么?
python
、
arrays
、
list
、
numpy
、
numpy-ndarray
与常规的
Python
列表
相比,的优势是什么?我听说对于“大矩阵”,出于性能和可伸缩性的原因,我应该使用
NumPy
而不是
Python
列表
。问题是,我知道
Python
列表
,它们似乎对我很有效。如果我有1000个系列(也
浏览 0
提问于2009-06-15
得票数 520
回答已采纳
3
回答
为什么
在
python
中保存/加载数据比matlab
占用
更多的空间/时间?
python
、
matlab
、
file-io
、
numpy
、
mat-file
我有一些变量,包括字典、
列表
列表
和
numpy
数组
。我使用以下代码保存所有这些代码,其中obj=var1、var2、.、varn。变量的大小足够小,可以加载到
内存
中。我的问题是,当我
在
matlab中保存相应的变量
时
,输出文件
在
磁盘上
占用
的空间比
在
python
中
占用
的空间要少得多。类似地,
在
python
中从磁盘加载变量需要花费比matlab更长的时间
浏览 2
提问于2014-09-07
得票数 0
回答已采纳
1
回答
用C语言组织数据的最快方法是什么?
c
、
performance
、
sorting
、
memory-management
、
kernel
我需要跟踪,
在
C中记录
大量
布尔型数据的,我正在编写一个玩具内核,并且需要存储关于某个
内存
地址是使用的还是空闲的数据。因此,我需要以最快、最有效的方式存储和
遍历
这些数据。不使用C标准库,是组织、
遍历
和修改
大量
布尔型数据的最好、最快、最有效的方法?例如,位图、
数组
或链接
列表
是否
占用
最少的资源来
遍历
和修改?
浏览 1
提问于2015-11-11
得票数 1
回答已采纳
1
回答
np.array arr.itemsize vs sys.getsizeof(arr[0])
python
、
numpy
、
types
、
numpy-ndarray
给定
数组
2.43598467e+01, 2.72818286e当执行以下命令
时
,我得到了一些输出:type(arr[0]) #
numpy
.float64sys.getsizeofsys.version) 3.5.5 | packaged by conda-forge | (defa
浏览 1
提问于2018-11-04
得票数 4
回答已采纳
1
回答
如何从一大组数据高效地构造一个
numpy
数组
?
python
、
arrays
、
numpy
如果我在
内存
中有一个庞大的
列表
,并希望将其转换为一个
数组
,那么简单的方法是否会导致
python
复制所有数据,
占用
内存
空间的两倍?我应该转换一个
列表
的
列表
,向量一个向量,而不是弹出?., [...]]编辑:最好是创建一个已知大小的空
数组
,然后递增地填充它,从而完全避免list_of_lists对象?
浏览 4
提问于2015-02-25
得票数 0
2
回答
Python
:不同类型的多维
数组
python
、
arrays
可以
在
Python
中创建不同类型的多维
数组
吗?我通常的解决方法是[([None] * n) for i in xrange(m)],但我不想使用list。我想要的东西实际上是
内存
中一个连续的指针
数组
,而不是一个
列表
。(每个
列表
本身是连续的,但当您创建
列表
列表
时
,不同的
列表
可能分布
在
RAM中的不同位置。)而且,与empty_array(m, n)之类的东西相比,编写[([None]
浏览 0
提问于2011-02-06
得票数 5
回答已采纳
3
回答
将
Python
列表
转换为
Numpy
Array InPlace
python
、
arrays
、
list
、
numpy
、
in-place
我有一个庞大的
python
列表
(16 GB),我想将它转换为
numpy
数组
。我负担不起这份声明我正在寻找一些有效的方法来将这个huge_list转换成
numpy
array这可能需要先将
列表
保存到磁盘,然后将其作为
numpy
数组
加载,我对此没有意见。编辑1:huge_list是在运行时创建的
内存
中的<em
浏览 1
提问于2016-08-19
得票数 3
回答已采纳
2
回答
numpy
的datetime64类型背后的动机?
numpy
、
datetime64
我最近注意到,
numpy
包括一个以
numpy
1.7开头的datetime64数据类型: 由于
numpy
中没有类似于datetime.date的日期类型,所以当我需要与
numpy
.datetim
浏览 0
提问于2013-12-31
得票数 4
1
回答
为什么
在
Python
2中zip会
占用
大量
内存
?
python
、
python-2.7
、
out-of-memory
然后,它查看这些点是否
在
某个多边形中。当运行脚本
时
,我得到一个
内存
错误。为了找出
内存
使用的问题,我安装了memory_profiler,结果如下所示:62gxi.ravel()[~np.isnan(zi.ravel())], gyi.ravel()[~np.isnan(zi.ravel())]) 我理解,考虑到有很多点,gxi、gyi和zi使用了相当多的
内存
,但是为什么zip()函数也要使
浏览 8
提问于2017-02-27
得票数 2
1
回答
MATLAB单元
数组
的
Numpy
等价物
python
、
matlab
、
numpy
我想在
Numpy
中创建一个类似MATLAB的单元格
数组
。我如何才能做到这一点呢?
浏览 0
提问于2009-11-19
得票数 15
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何将Python内存占用缩小20倍?
Python编程性能调优:使用适宜的数据结构减少对象内存消耗
Python性能优化杂记
学习Python必知的Numpy函数
numpy基础
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券