Python/Numpy MemoryError
Python/Numpy MemoryError是指在使用Python编程语言和Numpy库进行数据处理时，出现内存错误的异常。这种错误通常发生在处理大规模数据集或者执行内存密集型操作时。
Python是一种高级编程语言，具有简单易学、开发效率高等特点，被广泛应用于数据分析、科学计算和人工智能等领域。Numpy是Python的一个重要库，提供了高性能的多维数组对象和各种数学函数，被广泛用于科学计算和数据处理。
当处理大规模数据集或者执行内存密集型操作时，Python/Numpy可能会尝试分配超过系统可用内存的内存空间，导致内存不足的错误。这种情况下，可以采取以下几种方法来解决Python/Numpy MemoryError：
- 优化算法和数据结构：通过优化算法和数据结构，减少内存占用。例如，使用迭代器代替列表来处理大规模数据集，避免一次性加载所有数据到内存中。
- 分批处理数据：将大规模数据集分成多个较小的批次进行处理，每次只加载部分数据到内存中。这样可以降低内存压力。
- 内存映射：使用内存映射技术，将数据存储在磁盘上，而不是加载到内存中。这样可以有效地处理大规模数据集，但可能会牺牲一些计算性能。
- 增加系统内存：如果硬件条件允许，可以增加系统内存来解决内存不足的问题。
- 使用其他库或工具：除了Numpy，还有其他一些库或工具可以用于处理大规模数据集，例如Pandas、Dask等。这些库通常提供了更高效的内存管理机制，可以减少内存错误的发生。
对于Python/Numpy MemoryError的处理，腾讯云提供了一系列适用于大规模数据处理和科学计算的云产品和服务：
- 腾讯云弹性MapReduce（EMR）：提供了大规模数据处理和分析的云服务，支持Python和Numpy等常用工具和库，可以在分布式集群上高效地处理大规模数据集。
- 腾讯云容器服务（TKE）：提供了容器化部署和管理的云服务，可以将数据处理任务封装为容器，并在集群中进行分布式计算，有效地利用系统资源。
- 腾讯云函数计算（SCF）：提供了无服务器计算的云服务，可以将数据处理任务封装为函数，并按需执行，避免了对资源的长期占用。
以上是针对Python/Numpy MemoryError的解决方法和腾讯云相关产品的介绍。希望对您有所帮助。
相关·内容
我想用Python中的Numpy创建一个矩阵，代码如下：
import numpy
result=numpy.zeros((20,20,20,30,30,30))
numpy.save('result',result)
我得到以下错误：
Traceback (most recent call last):
File "numpy_memoryerror.py",
line 5, in <module>
result=numpy.zeros((20,20,20,30,30,30))
MemoryError
如果我像这样使用较小的尺寸：
浏览 2提问于2011-05-17得票数 4
回答已采纳
我在Python2.6.2中使用NumPy。我正在尝试创建一个小的(长度为3)简单的布尔数组。下面的代码给了我一个MemoryError，我认为它不应该这样做。
import numpy as np
cond = np.fromiter((x in [2] for x in [0, 1, 2]), dtype = np.bool)
它给我的错误是：
MemoryError:无法分配数组内存
但是，以下获取列表的方法(与ndarray相反)运行良好(不使用numpy)：
cond = list((x in [2] for x in [0, 1, 2]))
我在Numpy代码中做错了什么吗？我的感
浏览 0提问于2010-09-15得票数 2
回答已采纳
我有两个numpy数组container1和container2，其中container1.shape = (900,4000)和container2.shape = (5000,4000)。使用vstack合并它们将产生一个MemoryError。在搜索了这里发布的旧问题之后，我尝试使用slicing将它们合并，如下所示：
mergedContainer = numpy.vstack((container1, container2[:1000]))
mergedContainer = numpy.vstack((mergedContainer, container[1000:2500]))
浏览 0提问于2015-07-07得票数 1
回答已采纳
1回答
我试图使用python处理一些数据，但经常遇到"MemoryError“。对于我的数据处理，我需要运行一个循环~400次。问题是，每次我进入这个循环20-30次，我就会得到"MemoryError“。在观看“任务管理器”时，当python.exe*32为1GB时，似乎会发生这种情况。我会使用64位python，但我需要的一些库只有32位。此外，在我用每个循环调用的主函数的末尾，我对我使用的几乎每个变量都使用了del函数。当"MemoryError“发生时，我必须完全退出解释器，否则，如果我再次尝试重新运行它，它就会自动在"MemoryError”中失败。
我使用
浏览 3提问于2014-04-21得票数 1
回答已采纳
1回答
处理大型数据集时发生内存错误
、、、、
我有3个numpy数组的插值数据。
Each of Length - 107952899
面临的问题
当我将这三个numpy数组组合为pandas df时，我得到的是MemoryError。
转换为df的原因
我必须做一些计算，熊猫让它更容易，所以我更喜欢和熊猫一起做。我相信三个numpy数组的内存大小超过3 Gb甚至更多。
系统详细信息：
8 8Gb内存python 3.6.3
要求
我理解出现这种错误的原因，但是否有可能避免使用MemoryError或其他一些可遵循的最佳实践？
浏览 0提问于2019-02-07得票数 0
1回答
我目前正在为大型数据集编写一些NN，例如MNIST数据集(大约700*50000)。但是当我测试它时，我的代码得到了MemoryError。我有一台12 GB内存的计算机，但我认为Python或Numpy不能全部使用。
我可以推动Python或Numpy使用我的PC中所有剩余的可用内存吗？
操作系统: Windows 7 64位
Python : Python(x，y) 2.7.60
谢谢
浏览 3提问于2014-04-06得票数 3
回答已采纳
下面的代码导致内存溢出：
import numpy as np
a = np.arange(10000000)
np.save('a', a)
l = []
while True:
l.append(np.load('a.npy'))
Python错误出了分段错误，而不是MemoryError。对于像AWS EC2这样没有交换内存的机器来说，情况似乎是这样的(我尝试过使用一台具有更多内存和交换内存的机器，并得到一个MemoryError)。
浏览 2提问于2016-05-21得票数 1
我试图理解何时用Python捕获MemoryError是有意义的，我有两个场景：
场景1:成功捕获MemoryError。
import numpy as np
try:
a = np.ones(100000000000)
except MemoryError:
print 'got memory error, plan B'
a = np.ones(10) # this gets created
场景2:我的程序冻结了
silly = []
c = 0
try:
while True:
silly.append((str(c)
浏览 2提问于2014-03-30得票数 12
我试图运行Python文件，但每次都会出现这个错误。造成这一错误的原因和可能的解决方案是什么？我正在使用最新版本的numpy-1.17.0
numpy.core._exceptions.MemoryError: Unable to allocate array with shape
(129941, 400, 16) and data type int32
浏览 1提问于2019-08-11得票数 1
回答已采纳
我在使用numpy.repeat函数时遇到了问题。它给了我一个MemoryError。 def __calculate_lon_data(self):
lon_data = np.arange(self.min_lon, (self.max_lon + self.resolution),
self.resolution)
lon_data = [unextend_lon(lon) for lon in lon_data]
lon_data = np.float32(lon_dat
浏览 16提问于2020-08-08得票数 0
我有两个非常相似的程序，它们的功能只是略有不同。在这两个程序中，都产生了1568x1568numpy矩阵。在我的一个程序中，这个矩阵创建工作得很好，但是在另一个程序中，我收到了一个MemoryError。错误消息如下：
a = empty(shape, dtype, order)
MemoryError
此外，当我将创建矩阵的代码段从正常工作的程序复制到它自己的python文件中时，也会生成MemoryError。
下面的代码重现了这个错误：
import matplotlib.pyplot as plt
import numpy as np
Z = np.zeros((1568,
浏览 13提问于2017-07-04得票数 1
回答已采纳
2回答
我有两个变量，x和y。x是
type(x) = <class 'numpy.matrixlib.defmatrix.matrix'>
type(y) = <type 'numpy.ndarray'>
x.shape = (869250, 1)
y.shape = (869250,)
x+y提供了一个MemoryError，尽管我有大约5 gb的空闲空间。这看起来很奇怪--有谁知道可能会发生什么吗？
这是64位Linux上的numpy 1.5.1，python 2.7。
浏览 0提问于2012-09-13得票数 2
回答已采纳
我正在使用numpy ndarray将大型的ndarray文件加载到内存中。我读到我的系统(Win 7 prof.，6 GB )应该允许python.exe使用大约2GB的物理内存。
然而，我得到的MemoryError已经不到1GB了。更奇怪的是，这个下限似乎只适用于numpy array，而不适用于list。
我使用以下函数测试了我的内存消耗
import psutil
import gc
import os
import numpy as np
from matplotlib.pyplot import pause
def memory_usage_psutil():
# re
浏览 1提问于2013-10-03得票数 3
回答已采纳
2回答
我在表演numpy svd
U, S, V = np.linalg.svd(A)
A的形状是：
(10000, 10000)
由于大小，它给我的内存错误：
U, S, V = np.linalg.svd(A, full_matrices=False) # nargout=3
File "/usr/lib/python2.7/dist-packages/numpy/linalg/linalg.py", line 1319, in svd
work = zeros((lwork,), t)
MemoryError
那么我如何为我的矩阵找到svd？
浏览 0提问于2014-01-17得票数 3
我有一个python程序，它有时消耗大量的RAM。我试图通过以下方式限制使用
resource.setrlimit(resource.RLIMIT_AS, (2**32, 2**32))
但是，这将导致Python崩溃，而不是引发MemoryError。
我怎样才能让Python活下来？我想要MemoryError。
当我试图解决cvxpy中的一个大型实例时，问题就出现了。(这也意味着我无法减少代码的内存使用量--这不是我的代码。)但是当我分配大量的RAM时
numpy (numpy.arange(1000*1000*250, dtype="u8")
( )，或
外壳(
浏览 1提问于2017-09-11得票数 4
1回答
我使用numpy来使用64位Python加载一个大型矩阵。
它在拥有8GB内存的Macbook Pro上工作得很好。
>>> from sklearn.preprocessing import MultiLabelBinarizer
>>> mb = MultiLabelBinarizer()
>>> matrix = mb.fit_transform(questions_topics)
>>> sys.getsizeof(matrix)
47975472376
>>> matrix.shape
(29
浏览 3提问于2017-07-11得票数 4
回答已采纳
2回答
我正在尝试对我的数据集应用分层聚类，该数据集由14039个用户向量组成。每个向量有10个特征，其中每个特征基本上是该用户标记的标签的频率。我正在使用Scipy api进行集群。现在我需要计算这14039个用户之间的成对距离，并将距离矩阵传递给链接函数。
import scipy.cluster.hierarchy as sch
Y = sch.distance.pdist( allUserVector,'cosine')
set_printoptions(threshold='nan')
print Y
但是我的程序在计算距离矩阵本身的时候给出了
浏览 0提问于2012-04-12得票数 6
回答已采纳
我需要存储20000x20000订单的大矩阵。当我尝试初始化这个顺序的矩阵时，Python会引发内存错误。
Traceback (most recent call last):
File "C:\Users\harwee\Desktop\Bubble\test_folder\test.py", line 3, in <module>
a = numpy.ones((x,x),dtype=int)
File "C:\Python27\lib\site-packages\numpy\core\numeric.py", line 183
浏览 5提问于2016-06-14得票数 2
回答已采纳
1回答
我试图生成以下分步序列模式，但是python抛出了MemoryError
import numpy as np
import pandas as pd
import itertools
Temp = np.linspace(-5,5,pow(2,16))
df = pd.DataFrame([Temp*2] , index=['ColA','ColB']).T
print df
df2 = pd.DataFrame([e for e in itertools.product(df.ColA,df.ColB)],columns=df.columns)
p
浏览 1提问于2016-01-20得票数 0
回答已采纳
我正在用Keras构建一个简单的“猫和狗的分类器”。在安装ImageDataGenerator时，我得到了MemoryError。我的代码看起来像这样：
from keras.preprocessing.image import ImageDataGenerator
image_gen = ImageDataGenerator(shear_range=0.2,
zoom_range=0.2,
horizontal_flip=True)
image_gen.fit(X)
X的形状为(25000,150,150,3)
我做错了什么，或者如何解决这个问题？
我已经检查过和了。
浏览 12提问于2019-11-28得票数 1
回答已采纳
1回答
从PHP调用pip包导入失败
、、、、
我尝试在共享的try服务器上运行python脚本。它在SSH中运行良好，比如：
./python/bin/python cgi/script.py
但是，当我希望它通过PHP运行时，python脚本将一直运行，直到它导入pip包为止。
此错误来自导入已安装的pip包。
我尝试过使用权限，将所有文件和目录放置到755和chmod x，我尝试手动和新安装python 2.7 (webserver默认运行python 2.6，因此python调用“././python/bin/python”，我无法安装3.5，出现了很多错误和超时)。我没有什么权利。
script.py
print "
浏览 0提问于2019-05-15得票数 2
我有一些IronPython代码是从C#应用程序中调用的。
这段代码运行良好，直到我决定将一个函数更改为在线程中运行。
在python线程中调用numpy函数时，会引发InsufficientMemoryException异常。
我寻找解决办法，但没有找到。有人能解释一下为什么会这样吗?我该怎么解决呢？
我认为只有当我有两个使用numpy的线程时才会发生这种情况。
我运行这样的代码：
C#:
_python.functionA(); # _python was created with "Python.CreateEngine()"
_python.functionA(); #
浏览 4提问于2014-07-09得票数 10
我试图使用以下命令pandas.read_json(myfile)加载一个大型Json文件(大小:8，5GB)
这会引发内存错误。
MemoryError Traceback (most recent call last)
<ipython-input-6-88d3fb70f2f4> in <module>()
----> 1 df1=pd.read_json("part1")
/root/anaconda3/lib/python3.4/site-packages/pandas/io/j
浏览 3提问于2017-05-16得票数 0
回答已采纳
import numpy as np
array = np.zeros((210000, 210000)) # default numpy.float64
array.nbytes
当我在我的8GB内存MacBook上使用macOS运行上述代码时，不会发生错误。但是在使用Windows 10的16 PC内存PC上运行相同的代码，或者在12 PC内存Ubuntu笔记本上，甚至在128 PC内存Linux超级计算机上运行相同的代码，Python解释器将引发一个MemoryError。所有测试环境都安装了64位Python3.6或3.7。
浏览 1提问于2019-03-02得票数 28
回答已采纳
我试图使用这个包来处理一个包含39568行和27519列的术语文档矩阵csv文件，其中只包含计数/自然数。
问题:我正在用我的方法获得一个MemoryError，用于读取文件并将其存储到一个numpy数组中。
目标:从TDM文件中获取数字，并将其转换为numpy数组，这样我就可以使用numpy数组作为lda的输入。
with open("Results/TDM - Matrix Only.csv", 'r') as matrix_file:
matrix = np.array([[int(value) for value in line.strip().
浏览 5提问于2016-01-03得票数 3
回答已采纳
1回答
我刚开始使用python，下面是我的代码，
import numpy as np
val = 4**10
Q = []
for j in range(60):
a = []
for i in range(val):
tmp = (i+j)**2
a.append(tmp)
Q.append(a)
T= zip(*Q)
G = []
for t in T:
tmps2 = np.average(t)
G.append(tmps2)
下面是我的代码错误：
MemoryError
浏览 4提问于2014-06-18得票数 1
回答已采纳
我有一个巨大的(30) ndarray内存-映射：
arr = numpy.memmap(afile, dtype=numpy.float32, mode="w+", shape=(n, n,))
在用一些值(非常精细-最大内存使用率低于1GB)填充它之后，我想计算标准偏差：
print('stdev: {0:4.4f}\n'.format(numpy.std(arr)))
这一行在MemoryError中不幸失败。
我不知道为何会失败。我会很感激的提示，如何计算这些在一个有效的记忆方式？
环境: venv + Python3.6.2 + NumPy 1.13.
浏览 1提问于2017-09-07得票数 2
回答已采纳
当我测试一个超过100MB的音频文件时，我得到了以下错误。我是python新手，所以我找不到解决方案：
Traceback (most recent call last):
File "C:\Users\opensource\Desktop\pyAudioAnalysis-master\audioFeatureExtractio
n.py", line 542, in stFeatureExtraction signal = numpy.double(signal)MemoryError
浏览 13提问于2017-07-17得票数 0
1回答
如何使用邻接矩阵处理内存错误？
、、、、
我正在用python做图形聚类。该算法要求图G传递的数据必须是邻接矩阵。但是，为了像这样将adjacency-matrix作为numpy-array：
import networkx as nx
matrix = nx.to_numpy_matrix(G)
我得到一个内存错误。消息是MemoryError: Unable to allocate 2.70 TiB for an array with shape (609627, 609627) and data type float64
然而，我的设备是新的(联想E490)，windows 64位，内存8 Gb
其他重要信息可能是：
Numbe
浏览 36提问于2020-05-06得票数 2
回答已采纳
我使用try/except块包装了一些可能会耗尽内存的代码。但是，尽管生成了MemoryError，但它不会被捕获。
我有以下代码：
while True:
try:
self.create_indexed_vocab( vocab )
self.reset_weights()
break;
except MemoryError:
# Stuff to reduce size of vocabulary
self.vocab, self
浏览 0提问于2013-11-11得票数 18
回答已采纳
1回答
我试图使用python中的csv模块处理从csv文件中获得的数据。这里大约有50列& 401125行。我使用下面的代码块将数据放入列表中
csv_file_object = csv.reader(open(r'some_path\Train.csv','rb'))
header = csv_file_object.next()
data = []
for row in csv_file_object:
data.append(row)
我可以使用len(data)获取这个列表的长度&它返回401125。我甚至可以通过调用列表索引来获取每个
浏览 5提问于2013-01-27得票数 6
回答已采纳
3回答
初始化高维稀疏矩阵
、、、
我想使用sklearn初始化300,000 x 300,0000稀疏矩阵，但它需要内存，就好像它不是稀疏的一样： >>> from scipy import sparse
>>> sparse.rand(300000,300000,.1) 它会给出错误： MemoryError: Unable to allocate 671. GiB for an array with shape (300000, 300000) and data type float64 这与我使用numpy进行初始化时的错误相同。 np.random.normal(size=[
浏览 48提问于2020-11-16得票数 3
回答已采纳
2回答
我最初的list_函数有200多万行代码，当我运行计算代码时，我得到了一个内存错误。有没有办法让我绕过它。下面的list_是实际numpy数组的一部分。
熊猫数据：
import pandas as pd
import math
import numpy as np
bigdata = 'input.csv'
data =pd.read_csv(Daily_url, low_memory=False)
#reverses all the table data values
data1 = data.iloc[::-1].reset_index(drop=True)
list_=
浏览 0提问于2021-01-18得票数 0
我试图通过以下调用将列表列表插入excel (这样，每个内部列表表示一行，每个行的长度相同)：
#Assume ws is correctly initialized to an excel worksheet object
ws.Range(ws.Cells(1,1),ws.Cells(len(myList),len(myList[0]))).value = myList
myList列表包含字符串、numpy浮点数和int。当我试图执行上面的调用时，我会得到以下错误：
Traceback (most recent call last):
File "<interactiv
浏览 6提问于2013-08-08得票数 5
回答已采纳
在JetsonTK1上运行一些大型矩阵操作(chroma、cqt、mfcc提取)时，我获得了MemoryError，其中numpy (1.81)、cqt (0.17.0)、librosa (0.4.2)具有~2 GB Ram和一个16 GB交换文件。
任何帮助都是非常感谢的！
错误消息
Traceback (most recent call last):
File "./analyze_structure.py", line 480, in <module>
args.cutoff, args.order, args.sr, args.featu
浏览 10提问于2016-05-04得票数 3
我有一个python CGI脚本，我正试图在一个共享主机上运行cv2.py。我在命令行中一切正常，但是当我把它带到CGI时，它在cv2中得到了一个重要的恐惧。
这是一个特殊的Apache安装，因为我的Python版本2.7.2不是默认的Python版本，并且所有站点包都安装在我的用户主目录中。
代码如下：
#!/path/to/bin/python
import cgi
import cgitb
import sys
version = sys.version
cgitb.enable()
path = sys.path
import os
import pwd
# import cv2 &
浏览 2提问于2014-08-26得票数 0
1回答
我有几个很大的训练档案我打算训练。验证数据也是完美的，我认为没有问题，但规模很大。我说的是20GB+。由于内存错误，加载一个文件导致python崩溃。
我试过把文件写成一个，但它太大了
X = np.load('X150.npy')
Y = np.load('Y150.npy')
错误
~\AppData\Roaming\Python\Python37\site-packages\numpy\lib\format.py in read_array(fp, allow_pickle, pickle_kwargs)
710 if isf
浏览 1提问于2019-07-21得票数 4
回答已采纳
1回答
我正在做一个Python项目，使用GDAL来处理GIS栅格。这些栅格或图像可能会变得相当大，所以我通常使用Numpy中的内存映射来加载它们。目前，我想在内存映射的Numpy数组上执行距离转换操作。我试图使用Scipy的函数，但是，该函数返回内存中结果的副本，最终得到一个内存错误。
561, in distance_transform_dataset
dest_array = ndimage.distance_transform_edt(source_array) * pixel_size
File "/usr/local/lib/python2.7/dist-packages/
浏览 1提问于2013-06-05得票数 3
回答已采纳
1回答
我得到了一个恼人的错误，没有明显的原因。
下面是设置:我有一个python脚本(Python3.6anaconda发行版)，它是从CentOS 7 (7.2.6)调用的。
Python调用是通过exec进行的，如下所示
exec("LANG='en_US.UTF8' " . "/opt/anaconda3/bin/python". " /home/my_web_user_name/public_html/my_python_script.py " . $parameters);
如果我从终端调用PhP文件(其中包含exec )，所
浏览 1提问于2018-06-05得票数 1
我有一个大的2D Numpy数组，类似于arr = np.random.randint(0,255,(243327132, 3), dtype=np.uint8)。
我试图得到数组中唯一的行。使用np.unique，我得到以下内存错误：
unique_arr = np.unique(arr,axis=1)
---------------------------------------------------------------------------
MemoryError Traceback (most recent call
浏览 12提问于2022-08-16得票数 2
1回答
我正在尝试对一个大的numpy数组进行排序。它是一个形状为(450,470，10,470) (994,050,000个元素)的4维'float16‘数组。加载时，数组大小约为2 GB，并且我使用的是64位linux (和64位python)，因此我应该能够毫无问题地使用我所有的8 GB内存，但只要我尝试使用argsort，我就会得到一个MemoryError。
代码如下：
import numpy as np
score = np.load('score.npy')
aaarg = np.argsort(score, axis=None)[:-21:-1]
我的目标是
浏览 3提问于2015-05-07得票数 2
2回答
应用SVD会立即抛出内存错误吗？
、、、、
我正在尝试对经过一些文本处理(最终目标是执行潜在语义分析)获得的矩阵(3241x 12596)应用奇异值分解( SVD )，我不能理解为什么会发生这种情况，因为我的64位机器有16 of的RAM。一旦调用svd(self.A)，它就会抛出一个错误。精确的误差如下所示：
Traceback (most recent call last):
File ".\SVD.py", line 985, in <module>
_svd.calc()
File ".\SVD.py", line 534, in calc
self.U, se
浏览 3提问于2011-08-22得票数 7
回答已采纳
2回答
我使用openpyxl和numpy来读取大型excel文件。代码看起来像这样
W = load_workbook(fname, read_only = True)
p = W.worksheets[0]
a=[]
m = p.max_row
n = p.max_column
for row in p.iter_rows():
for k in row:
a.append(k.value)
# convert list a to matrix (for example 5*6)
aa= np.resize(a, [m, n])
对于中等大小的文件(4MB excel文件
浏览 0提问于2017-05-10得票数 0
为计算傅里叶变换而设计的Python代码无法完成这项任务。
def fouriertransform(result): #function for FTM computation
for filename in glob.iglob('*.tif'):
imgfourier = scipy.misc.imread(filename, flatten = True)
image = np.array([imgfourier])#make an array as np
arr = np.abs(np.fft.fftshift(np.
浏览 3提问于2013-07-03得票数 1
1回答
执行以下操作将导致我的Spyder Python IDE中出现MemoryError：
>>> from numpy import *
>>> a_flt = ones((7000,7000), dtype=float64)+4
>>> b_flt = ones((7000,7000), dtype=float64)+1
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
MemoryError
&
浏览 3提问于2014-09-23得票数 2
2回答
出于某些原因，我需要使用astropy将移动距离转换为红移。基本上，这涉及到读入、循环和写出一个列表或数值数组……我的问题是，我的每个列表通常由大约9.5x10^6个元素组成。每当我尝试使用numpy.savetxt将输出保存到一个新的txt文件中时，都会得到MemoryError。内存使用量增长很快，最终会变慢一点，但总是会超过我的128 gets限制。
如果有人知道我可以如何改进下面的脚本，我非常愿意倾听。谢谢!
import os
import sys
import glob
import math
import numpy
import astropy
import astropy.u
浏览 0提问于2017-04-25得票数 2
我在两台独立的设备上运行Python --2013年年中MacBook(笔记本1)和ThinkPad X1 Yoga3G(笔记本2)-and，在这两台设备上都创建了numpy数组。尽管这两台笔记本拥有相对相似的内存：
笔记本1:内存4gb 1600 MHz DDR3
膝上型计算机2:已安装内存16.0GB (15.8 GB可用)
在观察MemoryError之前，我在这两台笔记本上发现了非常不同的阈值阵列大小。例如：
笔记本电脑1
>>> import numpy as np
>>> np.zeros(int(5.*10.**12))
array([0.,
浏览 1提问于2019-03-09得票数 1
1回答
我有一个大型的pandas Series (50 million+)，我需要用32位Python进行排序，但在排序过程中我得到了一个MemoryError。似乎pandas的排序算法在排序过程中会生成几个临时数组。我知道我可以使用numpy的排序算法，但是我可以使用pandas API中的另一种排序算法，它具有更小的内存占用空间？
浏览 1提问于2013-04-19得票数 1
回答已采纳
我是python的新手，开始使用numpy。我正在遵循论文中的一个算法，对于我的数据集，它需要一个维度为1百万*100万的数组。
确切的代码是larray(np.random.normal(0, sigma**2, size=(794832, 794832))
虽然我有一个16 am的内存，但numpy在创建时会尝试将数组加载到内存中，因此，我得到了memoryerror。我尝试在lazyarray中使用延迟初始化，但仍然不起作用。
有没有办法创建一个使用文件系统而不是ram的数组？
提前谢谢。
浏览 0提问于2017-06-05得票数 2
我有一个包含未排序(X，Y)点的大型2D数组，对于这些数组，我需要知道哪些点彼此非常接近(最近邻查找)。我已经将cKDTree和query_ball_tree成功用于具有大约500,000 (X，Y)点的数组。但是，当我对超过1,000,000个点的数据集尝试相同的算法时，query_ball_tree会产生MemoryError。
我使用64位Windows和16 32内存，并尝试了32位和64位版本的Python和扩展模块(scipy和numpy)。
def Construct_SearchTree(AllXyPoints):
KDsearch = cKDTree(AllXyPoi
浏览 2提问于2013-08-06得票数 5
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
