为什么这个python列表需要这么多内存？
Python列表需要占用较多内存的原因有以下几点：
- 动态类型：Python是一种动态类型语言，列表中的元素可以是不同的数据类型，这导致了列表需要额外的内存来存储类型信息。
- 内存分配：Python的列表是动态数组，它会预留一定的内存空间来存储元素。当列表的元素数量超过了预留空间时，Python会重新分配更大的内存空间，并将原有元素复制到新的空间中，这个过程会消耗额外的内存。
- 内存对齐：为了提高访问效率，Python会对列表进行内存对齐，即将列表元素按照一定的规则对齐存储，这样可以减少内存碎片和提高访问速度，但也会导致列表占用更多的内存空间。
- 内存管理：Python使用了垃圾回收机制来管理内存，当列表中的元素被删除或者列表不再被引用时，垃圾回收机制会释放相应的内存空间。然而，由于垃圾回收机制的工作机制，有时候并不会立即释放内存，而是在合适的时机进行回收，这可能导致列表占用的内存比实际需要的要多。
总结起来，Python列表需要较多内存的原因主要是动态类型、内存分配、内存对齐和内存管理等因素的综合影响。为了减少内存占用，可以考虑使用其他数据结构或者优化算法来替代列表，在处理大量数据时尤为重要。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云云服务器（CVM）：提供弹性计算能力，满足不同规模业务的需求。详情请参考：https://cloud.tencent.com/product/cvm
- 腾讯云云数据库 MySQL 版（TencentDB for MySQL）：提供高性能、可扩展的 MySQL 数据库服务。详情请参考：https://cloud.tencent.com/product/cdb_mysql
- 腾讯云对象存储（COS）：提供安全、稳定、低成本的云端存储服务。详情请参考：https://cloud.tencent.com/product/cos
相关·内容
3回答
集合和内存
、、、
我有一个应用程序，它读取3-4 GB的数据，从每一行中构建实体，然后将它们存储在列表中。
我遇到的问题是，内存变得疯狂，变得像13到15 GB。为什么存储这些实体需要这么多内存。
所以我构建了一棵树，并做了一些类似于Huffman编码的事情，总内存大小约为200 -300MB。
我明白，我压缩了数据。但我没想到在列表中存储对象会增加这么多内存。为什么会发生这种情况？
其他数据结构，如字典、堆栈、队列、数组等呢？
在哪里可以找到关于数据结构的内部结构和内存分配的更多信息？
还是我做错了什么？
浏览 1提问于2011-03-25得票数 0
回答已采纳
我有一个包含390万个文档的MongoDB集合，文档的平均大小为1.5KB。该集合占用服务器上5.7GB的磁盘空间。我试图收集python脚本中的所有文档，内存达到60 to，冻结服务器(linux)。
以下是我正在做的事情
collec = mongo_db['my_collec']
records = []
crsr = collec.find()
for r in crsr:
record.append(r)
我想了解为什么这个进程占用这么多内存，而数据本身不应该占用超过6GB的内存。每个文档包含大约100个字段。
浏览 1提问于2021-06-28得票数 0
回答已采纳
我有一个543 MB的txt文件，其中包含一行分隔的空格，utf-8令牌：
aaa algeria americansamoa appliedethics accessiblecomputing ada anarchism ...
但是，当我将文本数据加载到python列表中时，它使用了~8GB内存(列表为900 MB，令牌为~8GB)：
with open('tokens.txt', 'r') as f:
tokens = f.read().decode('utf-8').split()
import sys
print sys.g
浏览 1提问于2017-07-27得票数 4
回答已采纳
3回答
我试图将一个数字列表转换为这个列表中的数字符号列表，虽然我有这么多选项可以这样做，但我从python3中找到了一个奇怪的响应：
a =[0.5]
for x in a:
if x > 0:
print('sup 0')
if x < 0:
print('inf 0')
else:
print('egal 0')
产出: sup 0 egal 0
有人能解释一下为什么会发生这种输出吗？
诚挚的问候
浏览 3提问于2021-08-10得票数 1
回答已采纳
2回答
我有一个拥有2500万个Bitset的Bitset列表。我使用以下命令创建的每个位集：
Bitset.valueOf(new long[] {1})
正在消耗的内存大约为1300MB。Ie:平均占用52个字节。我不明白为什么要消耗这么多内存。
浏览 1提问于2017-08-11得票数 0
我想输入我自己的图表，以便与斯坦福大学的GraphBase CWEB库一起使用。我在SGB的网页上找到了一个图的例子，大部分都理解了。我不明白的是，为什么顶点列表中有四个零行(""，0\n)，边列表中有这么多零行(0,0,0)。图形似乎在没有它们的情况下编译得很好，我看不出它们的用途。
浏览 4提问于2011-12-07得票数 0
回答已采纳
3回答
可能重复: 如何理解linux服务器中内存的使用和平均负载
我正在运行Debian，我想知道为什么使用这么多内存(8GB中的8GB)
有什么方法可以让我看看为什么这么多的RAM被使用吗？
浏览 0提问于2011-03-13得票数 1
3回答
构建可伸缩的服务器
、、、
因此，我正在开发一个服务器应用程序，它需要存储数十万类(在某些情况下最多需要几百万)，将它们序列化到SQL数据库中，并多次加载它们，而将这么多类对象存储到列表中似乎就是抛出内存异常的原因？我认为。
所以这就带来了问题
如何在仍然处理我所有的上百万个类的同时避免这样的错误？还有其他的问题吗?有这么多的数据？，我还能做什么来确保我的服务器完全可伸缩，并最终能够处理和管理尽可能多的数据？。
这个问题的要点是，我需要这么多类都在内存中运行，因为我需要不断地更新它们，这样做比序列化到SQL数据库所花费的时间还要长。现在，现在，我使用的内存比我最终需要的更少！
浏览 7提问于2010-11-08得票数 1
回答已采纳
我最近开始学习python 3。
在python 2中，range()函数可用于分配列表元素：
>>> A = []
>>> A = range(0,6)
>>> print A
[0, 1, 2, 3, 4, 5]
但是在python 3中，range()函数输出如下：
>>> A = []
>>> A = range(0,6)
>>> print(A)
range(0, 6)
为什么会发生这种情况？
为什么python要做这个改变呢？
是恩惠还是祸根？
浏览 7提问于2017-06-15得票数 31
回答已采纳
3回答
我看了“三美女快门”的谈话，还在玩快步舞。我在python中的实现非常类似于c(选择枢轴，围绕它进行分区，并在越来越小的分区上递归)。我还以为不是奏鸣曲。
这就是在python中使用列表理解的实现。
def qsort(list):
if list == []:
return []
pivot = list[0]
l = qsort([x for x in list[1:] if x < pivot])
u = qsort([x for x in list[1:] if x >= pivot])
return l + [pi
浏览 4提问于2012-08-24得票数 7
回答已采纳
为什么下面的查询在mysql中花费了这么多时间，而在oracle中却没有
select * from (select * from employee) as a limit 1000
我在oracle和MySQL数据库中使用这个表中的50,000,000条记录测试了这个查询。
我知道这些查询应该写成这样
select * from employee limit 1000
但是为了向我们的自定义动态网格显示数据&总行数，我们只有一个查询，我们使用简单的select * from employee查询，然后添加limit或其他条件。
我们缩短了这个问题的时间。
但我的问题是“为什么在mys
浏览 0提问于2013-12-31得票数 0
1回答
我已经用Python开发了Azure函数，每次执行都要花费这么多资源：
由于Azure消费计划提供了4,00000 GB/月免费赠款。，我每月能免费执行这个函数多少次？如何计算？
浏览 0提问于2020-07-08得票数 1
2回答
我正在开发一个相当大的现有Python应用程序，现在我正在努力减少它的内存使用量。
多亏了，我得到了这个：
23 11.289 MiB 0.434 MiB from remote import settings
24 14.422 MiB 3.133 MiB from remote.controller import ChannelManager
25 14.422 MiB 0.000 MiB from remote import channel as channel_module
正如您在第24行看到的，内存使用量增加了3.13MB。
为什么导
浏览 0提问于2015-08-27得票数 0
5回答
是否有任何现有的用于Python3的python代码混淆工具？
如果我想隐藏/混淆我的代码，请不要试图告诉我Python不是正确的选择。或者正确的许可应该保护代码而不是混淆..。
更新:这个问题不会重复：我只是问是否有一个工具可以混淆Python。没有更多也没有更少。(如果没有，我想知道为什么我得到这么多反馈.)
浏览 3提问于2011-11-10得票数 6
1回答
我试图在另一个索引列表的基础上迭代列表中的元素子集。
最短的/最通俗的方式似乎是用列表理解来达到以下效果：
for elt in [lst[idx] for idx in idxs]:
elt.do_stuff()
elt.do_more_stuff()
但我无法摆脱的感觉是，如果我要循环这么多，每次重建清单的理解可能是昂贵的，我应该花更多的钱来写：
for idx in indxs:
elt = lst[idx]
elt.do_stuff()
elt.do_more_stuff()
对python
浏览 0提问于2019-02-08得票数 2
回答已采纳
1回答
我试图从Extbase，TYPO3中的一个控制器获得一个带有TYPO3的堆栈跟踪，但是在512 m脚本限制下，内存溢出。我当然可以增加这个限制，但是为什么需要这么多内存呢？还有其他方法可以在TYPO3中获取堆栈跟踪吗？
浏览 2提问于2014-07-17得票数 0
回答已采纳
子:高内存利用率的sqlservr.exe进程。
当我查看任务管理器->进程或使用perfmon内存计数器(Sqlserver:内存管理器:目标服务器内存和总服务器内存)时，sqlservr.exe进程的内存利用率高达8GB(目标服务器内存计数器)和7.95GB(总服务器内存)。
当我重新启动MSSQLSERVER服务时，它再次上升到相同的大小。我经常收到这个问题。
请帮助我确定为什么sql server使用这么多内存，以及如何找出是什么查询、存储过程等使sql服务器使用了这么多内存。
*我在代码中没有使用任何触发器或游标。
谢谢
浏览 0提问于2011-06-14得票数 2
我正在接受一些Python类，它们创建了一个项的子列表，这些项是dataset中的行。我想知道为什么不建议使用索引列表而不是列出整个数据行。
例如，list_of_freeApps.append(rowx)
似乎只保存索引: list_of_freeApps.append(x)
在空间上会更有效率，但是也许Python解释器做了一些事情，所以不需要担心这个，
或者这是一个初学者课程，当使用Python数据文件时，它会被处理吗？
那么，有谁能对这个Python初学者的问题发表评论呢？谢谢
浏览 2提问于2019-11-25得票数 0
我被介绍给数组。而不是列表。而非向量。而不是堆栈和队列。它们都可以包含特定类型的内存。但是为什么会有这么多这样的人呢？
我读到列表在添加或删除时更好，而在做其他事情时，向量更好。但是什么是堆栈和队列呢？那么std::array呢？
有没有好的、和善的程序员可以(简单地或明确地)解释这些不同的容器的区别、优缺点以及何时使用这些容器？
浏览 0提问于2014-03-22得票数 4
回答已采纳
2回答
我正在使用Java (Eclipse)构建一个与照片一起工作的应用程序。
所以我使用这个链接来知道我还有多少空闲内存。问题是我有这样的代码：
Main.printMemory("before image");
url = new File(information.getPath()).toURI().toURL();
image = ImageIO.read(url);
Main.printMemory("after image");
结果是：
信息:在图像之前
空闲内存(字节)：82554768最大内存(字节)：129957888总内存(字节)：850001
浏览 13提问于2015-08-24得票数 2
回答已采纳
我想知道为什么我的土生土长变大了。它主要是由位图引起的
我使用了AndroidStudio4.1.1，我试图找出，在旧的Android中，右击菜单或参考选项卡旁边会有“查看位图”
但在这个工作室里我什么也没看到。我怎么知道哪个函数创建了这么多位图？
浏览 3提问于2021-07-15得票数 0
回答已采纳
我是python的新手，当我试图打印列表的值时，它保存了浮点值，字符串在浮点数中打印了更多的零。为什么在python中这种行为任何人都可以解释。
list = ['abcd', 786 , 2.23, 'john', 7.23 ,'Deepak','Umesh']
#tinylist = [123, 'john']
print list # Prints complete list
o/p
['abcd', 786, 2.23, 'john', 7.2300000000000004
浏览 3提问于2017-07-31得票数 0
回答已采纳
为什么python线程会消耗这么多内存？
我测量到，生成一个线程需要消耗8兆内存，几乎和一个全新的python进程一样大！
操作系统: Ubuntu 10.10
编辑:由于流行的需求，我将给出一些无关的例子，如下所示：
from os import getpid
from time import sleep
from threading import Thread
def nap():
print 'sleeping child'
sleep(999999999)
print getpid()
child_thread = Thread(target=nap
浏览 4提问于2011-04-12得票数 5
回答已采纳
为什么服务器在一般情况下引导这么慢？
如果其中有1-2个TByte内存，可能需要10-20-30-40分钟才能冷启动一个server..Why，是吗？平均来说，记忆不是太快了吗？为什么“测试”(？)需要这么多时间吗？
浏览 0提问于2017-12-28得票数 6
1回答
我在戴尔INSPIRON N5050上使用Ubuntu14.04.1LTS。我的问题是，我有6GB内存，从操作系统开始，几乎50%的内存被占用。我必须指出，我没有独立的VGA卡。您认为操作系统占用这么多内存的原因是什么？这是正常的吗？我检查了活动进程的列表，没有占用这么多内存的进程。
浏览 0提问于2014-11-07得票数 0
就像在标题里一样。我无法在软件RAID中找到关于脏块的可靠信息，但是我多次听到这个词。
有这么多脏砖块不好吗？如何检查脏块的数量？为什么它们在系统中出现/被创建？
浏览 0提问于2020-02-24得票数 1
回答已采纳
2回答
新的Python和所有与数据库相关的东西。想知道什么时候应该考虑使用数据库，为什么？实际上，我有一个大约30000行长的对象列表。我正在开发一个web应用程序，它需要根据用户的输入搜索这个列表中的正确对象。
对于更多的上下文，该列表包含所有有效和唯一的音乐和弦名称，每个名称都具有使该和弦是什么样子的属性。例如：音符，区间符号。它是用户输入的chord的名称，也是他们将得到的chord属性。
我想知道通过搜索对象名称从这个对象列表中提取对象的最快方法，以及如何使用最小的外部库在python中实现它。
目前，我只是通过一个.txt文件进行解析，并将字符串行转换回python中的适当对象并返回该对象
浏览 0提问于2020-05-14得票数 -1
1回答
我遇到了一个问题，当我试图插入一个集合时，我的代码似乎被卡住了。
using namespace std;
set<string> * lexset;
void build( const set<string>& word_list )
set<string>::iterator it = word_list.begin();
while( it != word_list.end())
{
cout << *it << "before"<< endl;
浏览 2提问于2013-12-08得票数 0
回答已采纳
我正在编写一个iphone应用程序，并使用几个大图像。其中一个图像是接受< 1mb的.png文件。但是，在运行时，调试器说它占用了50 of的空间。我使用UIImageView对象通过Interface放置图像。
问题是，为什么它占用了这么多的内存，有没有办法在不占用这么多空间的情况下使用图像？
浏览 1提问于2015-03-16得票数 2
回答已采纳
如果我在GHCi中加载以下列表，该列表的计算速度会很慢，直到程序最终在计算3524578之后关闭，列表中的第33项。
fibonacci :: (Integral a) => [a]
fibonacci = 0 : 1 : zipWith (+) fibonacci (tail fibonacci)
如果我删除第一行并加载以下代码，那么list的计算速度会非常快，并且GHCi不会关闭。
fibonacci = 0 : 1 : zipWith (+) fibonacci (tail fibonacci)
为什么多态列表比Integer列表慢这么多？为什么要关闭GHCi？
浏览 0提问于2013-10-01得票数 4
我正在将一个巨大的csv (18 am )加载到内存中，并注意到R和Python之间的巨大差异。这是在亚马逊网络服务的ec2 上。显然，这是一个极端的例子，但这个原则也适用于真实机器上的较小文件。
当使用pd.read_csv时，我的文件花了大约30分钟加载，占用了174 up的内存。本质上是如此之多，以至于我不能用它做任何事情。相比之下，data.table包中的R的fread()大约需要7分钟，只需要大约55 of的内存。
为什么pandas对象比data.table对象占用这么多内存？此外，从根本上说，为什么pandas对象几乎比磁盘上的文本文件大10倍？首先，.csv并不是一种特别有效
浏览 1提问于2017-11-01得票数 8
如何在不导致ast.literal_eval的情况下使用MemoryError解析大文件？例如，我想解析的文件是41 is。
我观察了这个过程，发现python占用了更多的3G内存。我使用的是32位系统，所以这取决于进程的最大内存。
为什么ast.literal_eval需要这么多内存，而它只需要解析来获得数据结构？有没有办法减少内存的使用？
顺便说一下，守则是：
import ast
file = open(file_name, 'r')
data = ast.literal_eval(file.read())
file.close()
例外是
File "/us
浏览 10提问于2014-01-04得票数 1
4回答
JVM内存消耗
、、
我试图在一个低内存系统(150-256 to )上运行tomcat。尽管我使用-Xmx64m启动JVM (无论如何，这应该是默认的)，但这个过程会立即占用200Mb+。
我想知道为什么JVM本身需要这么多内存，或者是否有一种方法来调优？对于内存消耗低的情况，其他JVM比sun更好吗?它们与tomcat一起工作吗？
浏览 0提问于2009-05-23得票数 9
回答已采纳
我对Ubuntu的内存管理有问题。我正在运行32位Ubuntu 13.10.
我的系统只运行铬。但是，当我运行free -m时，它会返回：
total used free shared buffers cached
Mem: 5861 4525 1336 0 638 3385
-/+ buffers/cache: 500 5360
Swap: 0 0 0
浏览 0提问于2014-09-06得票数 0
2回答
我正在尝试做一个列表，其中有2个元素被提升到30个元素，但是我得到了一个内存错误。为什么会这样呢？它是否超出了python中列表的最大限制？
m=[None]*(2**30)
浏览 2提问于2015-03-22得票数 1
回答已采纳
4回答
我已经听过这么多次了，所以我认为这是理所当然的。但是回想一下，有人能帮我认识到为什么字符串操作，比如比较，比整数或者其他原语更昂贵吗？
浏览 2提问于2013-10-08得票数 1
回答已采纳
Microsoft Outlook和Eclipse IDE等应用程序会消耗多达200MB的RAM。考虑到几年前我们只有256MB的RAM，那么现代应用程序消耗这么多内存是可以的吗？另外，为什么会发生这种情况？我们是否认为这些资源是理所当然的？
浏览 9提问于2009-02-28得票数 10
回答已采纳
我在理解memory_profiler的输出方面有问题。基本上，看起来是这样的：
Filename: tspviz.py
Line # Mem usage Increment Line Contents
================================================
7 34.589844 MiB 34.589844 MiB @profile(precision=6)
8 def parse_arguments():
9 34.917969 MiB
浏览 0提问于2018-08-30得票数 11
回答已采纳
只是在学Python。阅读官方教程。我碰到了这个：
虽然列表末尾的附加和持久性有机污染物是快速的，但从列表开始执行插入或持久性有机污染物的速度很慢(因为所有其他元素都必须由一个元素移动)。
我会猜到，像Python这样的成熟语言会有各种各样的优化，那么为什么Python不使用链接列表以便插入更快呢？
浏览 3提问于2012-09-05得票数 15
回答已采纳
我已经解决了这个问题，但我想知道为什么首先会导致这个问题。我使用BeautifulSoup从一个网页中识别出这个跨度：
span = <span id="ctl00_ContentPlaceHolder1_RestInfoReskin_lblRestName">Ally's Sizzlers</span>
然后我给这个变量赋值：
restaurant.name = span.contents
然而，在每个循环中，这会占用整整1MB，大约有20,000个循环。通过试验和错误，我找到了这个解决方案：
restaurant.name = str(spa
浏览 4提问于2012-11-21得票数 1
回答已采纳
我的pc有3G内存，我把数据存储在redis.I中，我通过dump.rdb将数据写入磁盘。我发现当dump.rdb在1.5G左右的时候，redis会关闭，为什么呢？
当我在redis-cli中输入info时，我发现我的所有记忆都是由redis使用的。
如何解决这个问题？
我使用32bit, ubuntu 12.04.
如果我增加更多的内存，32位的机器只能容纳4G内存，所以如果我要增加更多的5G数据，如何处理这么多的数据？
伙计们。
浏览 1提问于2012-10-12得票数 0
3回答
我有一个像Facebook的新闻提要一样的列表，我的用户有这么多的新闻，我必须像Facebook一样向他们展示。
首先，我创建一个NSObject类，用于生成每个单元格的对象。然后，我创建一个用这个对象类初始化的UIViewController。这个控制器是每个对象的单元格。
-(id)initWithNewsObject:(NewsObject *)new Delegate:(id)delegate{
self=[super init];
if(self)
{
_delegate=delegate;
_new=[[NewsObject alloc]initWithNew
浏览 2提问于2015-04-09得票数 0
回答已采纳
1回答
我在basic程序上运行pintool 'instCount‘，主要功能是空体。
int main() {
}
当我在这个可执行程序上运行instCount时，它显示了大约86000条指令。即使是程序也很小，为什么这么多指令被归类.？？有什么概念吗？？
谢谢
浏览 2提问于2016-01-06得票数 1
1回答
Read tables from HTML page by changing the ID using python 这和这个问题是一样的，但不是列出几个is，而是我必须通过10k个不同的is。我的列表中有这么多in，我怎么才能真正地阅读网页呢？ 谢谢。
浏览 26提问于2021-08-03得票数 0
我理解为什么在python中会发生以下情况，但这似乎有点违背直觉。有人能解释一下为什么python会这样做吗？为什么在类G的第二次实例化中没有再次创建空列表？
class G:
def __init__(self, members=[]):
self.members = members
def append(self, x):
self.members.append(x)
a = G()
a.append(1)
a.append(2)
print(a.members) # prints: [1, 2]
b = G()
print(b.
浏览 3提问于2021-02-09得票数 0
回答已采纳
我正在使用python列表，我想在不使用它的时候从内存中删除一个列表。(我有一个很大的数据列表，可能有几千或几百万的elements..data类型-> float)
我尝试了这段代码，看看在python中删除是如何工作的(示例)。
import sys
array=[[12,34,54],[23,45,54,67]]
print(sys.getsizeof(array)) # it gives me result 80
#then
del(array[:])
print(sys.getsizeof(array)) #it gives me result 64?
为什么会发生这种情况
浏览 47提问于2018-06-03得票数 2
回答已采纳
我使用Python集合来存储唯一的对象。每个对象都重写了__hash__和__eq__。
该集合包含近20万个对象。这个集合本身占用了将近4GB的内存。它在5GB以上的机器上运行得很好，但是现在我需要在只有3GB内存的机器上运行脚本。
我将脚本重写为C# --实际上是从同一个源读取相同的数据，将其放到CLR模拟集(HashSet)中，而不是4GB，而是花费了近350 MB，而脚本执行的速度相对相同(接近40秒)，但我必须使用Python。
Q1: Python是否有任何“磁盘持久”集或任何其他解决方法？我猜它只能在内存中存储散列/eq方法中使用的“键”数据，其他所有数据都可以保存到磁盘上。或者
浏览 5提问于2013-03-21得票数 9
回答已采纳
2回答
我使用用python编写的UDF来更改数字的基。
因此，我读取了一个拼花文件，并写入了一个拼花文件，并应用了UDF。下面是我的台词：
input_df.withColumn("origin_base", convert_2_dest_base(input_df.origin_base)).write.mode('overwrite').parquet(destination_path)
这种转换会激发火花来利用大量内存，我收到了这样的警告：
17/06/18 08:39警告TaskSetManager:在4.0阶段丢失任务40.0 (TID 183，ip-10
浏览 4提问于2017-06-18得票数 6
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
云直播活动推荐
腾讯云开发者
