Numpy以优化的数组和各种优于python-list的优点而闻名。但是，当我检查内存使用情况时，python列表的空间比numpy数组小。下面输入了我使用的代码。有人能给我解释一下原因吗？
浏览 0提问于2021-02-08得票数 0
我试图找到一种内存高效的方法，将数据存储在python变量中，以便进行快速访问和分析。我在numpy中初始化了一个2d数组，然后通过以下方法找到它的内存使用情况(使用sys以便以后可以与其他变量类型进行比较)：print('The size of the numpy array is {} bytes'.format(sys.
浏览 2提问于2021-11-09得票数 1
回答已采纳
1回答
我正在尝试调试我的大型Python应用程序的内存问题。大部分内存位于由Python管理的numpy数组中，因此等是无用的，因为它们不考虑numpy数组中的内存。因此，我尝试使用MacOSX (10.7.5)活动监视器(如果愿意，也可以使用top )手动跟踪内存使用情况。我注意到了以下奇怪的行为
浏览 2提问于2013-08-19得票数 16
回答已采纳
1回答
当对数组执行操作时，我有一个关于Numpy内存使用情况的问题。我观察到，内存使用量增加了一倍，尽管这似乎是不必要的。例如，对于以下两个脚本，第二个脚本使用的内存几乎是第一个脚本的两倍：# ex1.pyx = np.zeros((10000, 10000), dtype(在linux上)运行脚本并查看最大驻留集大小来检查内存<e
浏览 3提问于2022-07-27得票数 0
回答已采纳
我需要存储20000x20000订单的大矩阵。当我尝试初始化这个顺序的矩阵时，Python会引发内存错误。((x,x),dtype=int)MemoryError
我的内存总数是8GB，当我签入Taskmanage
浏览 5提问于2016-06-14得票数 2
回答已采纳
我使用的是Numpy版本1.11.1，必须处理所有的值都是整数，我需要一个唯一的数组值列表。recent call last): palette = np.unique(arr)MemoryError
我的机器只有8 GB内存</
浏览 0提问于2016-10-05得票数 5
3回答
我通过numpy.loadtxt将csv文件加载到numpy数组中。我的数据大约有一百万条记录和87列。虽然object.nbytes只有177159666字节，但它实际上需要更多内存，因为我在使用scikit learn训练决策树时得到了'MemoryError‘。此外，在读取数据后，我系统中的可用内存减少了1.8 by。我在有3 on内存的linux机器上工作。那么object.nbytes会返回numpy</e
浏览 0提问于2012-08-02得票数 4
回答已采纳
如果我在内存中有一个庞大的列表，并希望将其转换为一个数组，那么简单的方法是否会导致python复制所有数据，占用内存空间的两倍？我应该转换一个列表的列表，向量一个向量，而不是弹出？., [...]]编辑:最好是创建一个已知大小的空数组，然后递增地填充它，从而完全避免list_of_lists对象？这能通过像some_array[i] = some_list
浏览 4提问于2015-02-25得票数 0
我想研究一下使用numpy.memmap访问大文件数据的python程序的内存使用情况。是否有一种方法来检查内存中当前使用的内存大小？我在numpy对象和对象的_mmap属性上尝试了_mmap，但是无论使用了多少memmap对象，它们都给出了相同的非常小的大小。
浏览 7提问于2020-10-05得票数 2
3回答
我正在使用python分析一些大文件，并且遇到了内存问题，所以我一直使用sys.getsizeof()来尝试跟踪使用情况，但它在处理numpy数组时的行为是奇怪的。这是一个例子，涉及我必须打开的反照率地图：>>> import struct>>> f =a
浏览 104提问于2012-08-03得票数 196
回答已采纳
1回答
我有一个函数，它从dataframe创建数组，在处理过程中需要更多的空间。因此，我实现了一个批处理参数，该参数在dataframe上迭代，并选择一个围绕batch_len = 1000行的区域，对它们进行预处理，并将它们连接到我的结果numpy数组。为了避免无休止的小批处理，我想要做一个计算函数，确定允许我们一次预处理多少行(batch_len)。
因此，我需要知道，numpy数组有多大？是否有(或多或少)恒定的大小
浏览 3提问于2020-09-30得票数 0
似乎将一个字符串数组放入一个numpy数组需要比原始数组多20倍的内存。我可以理解，由于一些开销，它会多占用10%的内存，但我想知道为什么它会多占用2000%的内存。import numpy as np
txt = ["adsfjwofj owejifowijefiwjfoi of wofjwoijfwoijfoiwejprint(ge
浏览 0提问于2018-08-02得票数 2
1回答
我正在开发一个更大的项目，在那里我看到内存使用量的持续增加。代码类似于我下面的演示-只是没有使用随机数字和更有用的计算……但效果是一样的。运行此命令后，我发现内存使用量增加我使用的是python 3indat = np.random.random(n*4)
d = [0,
浏览 4提问于2018-05-14得票数 0
1回答
如何将非常大的ndarray保存到磁盘？x.append("a", pandas.DataFrame(a))pandas.DataFrame(a)pickle.dump(a, f)
挂了。
浏览 0提问于2017-07-14得票数 1
我有一个使用Python2.7、PIL、OpenCV和numpy/scipy处理图像帧的python程序。据我所知，它不维护任何以前帧的列表。然而，随着程序处理越来越多的帧，内存消耗会稳步增加。有 的内存分析解决方案，但他们似乎专注于32位或Linux解决方案。Windows上的64位Python 2.7应该使用什么？初步调查表明，该问题与C库有关。我特别感兴趣的是帮助
浏览 1提问于2011-04-23得票数 3
回答已采纳
1回答
我有几个进程，每个进程都完成了需要一个大型numpy数组的任务，这只是读取(线程正在搜索它的适当值)。然而，我仍然收到一个内存错误。我可以在主进程中加载一次数组，但是当我试图使其成为管理器命名空间的属性时，我收到了内存错误。我假设管理器<
浏览 1提问于2017-08-11得票数 3
回答已采纳
我必须反复读取数据文件并将数据存储到(numpy)数组中。我选择将数据存储到“数据字段”的字典中：{'field1': array1,'field2': array2,...}。判例1(清单)：
使用lists (或collections.deque())“追加”新数据数组，代码是高效。但是，当我将存储在列表中的数组连接起来时，内存就会增长，并且我没有设法再次释放它。(顶部)：13862 gime_se 20 0 1042m 93
浏览 0提问于2011-02-08得票数 10
1回答
熊猫给出了非常奇怪的记忆估计。不可能是一列包含2数字的列占用几乎与100 numbers列相同的内存。Numpy的nbytes更有意义(参见下面的示例)，但是deep=True的memory_usage不知道如何处理吗？import pandas as pd vecs_1x2 = np.random.random((n_rows10))
df = p
浏览 0提问于2021-02-18得票数 1
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
