4回答
我用Python打开一个3 GB的文件来读取字符串。然后，我将此数据存储在字典中。我的下一个目标是使用这个字典构建一个图表，这样我就可以密切监控内存使用情况。在我看来，Python将整个3 GB的文件加载到内存中，我无法摆脱它。我正在使用Ubuntu，并且我已经在终端中使用了“系统监视器”和“空闲”命令来监控内存使用情况。
我不明白的是，为什么在我清理完字典之后，Python需要这么多内存<
浏览 0提问于2012-09-14得票数 17
1回答
我需要读取一个任意大的文件，解析它(这意味着在执行此操作时将一些数据保留在内存中)，然后将该文件的新版本写入文件系统。考虑到内存限制，我需要以增量方式或批处理方式读取文件。显然，我可以通过如下命令获得有关内存使用情况的信息 import psutil
psutil.virtual_memory() 它还以百分比形式返回可用内存。我希望根据可用内存以及当前Python</em
浏览 8提问于2019-09-26得票数 0
我正在尝试从Postgres数据库读取表中的Python。表有大约800万行和17列，DB中的大小为622 DB。现在，我们需要完成的任务需要自动调用，所以我想我可以直接从DB中使用pd.read_sql_table()读取表。)
the_frame = pd.read_sql_table(table_name='table_name
浏览 0提问于2016-12-21得票数 9
回答已采纳
如何在Python中读取窗口性能统计信息: cpu时间、磁盘时间、内存使用情况...标准Windows性能监视器中的所有数据都可用？
浏览 6提问于2018-06-20得票数 0
1回答
我正在运行一个脚本，内存使用量正在疯狂地增加，所以我想知道在读取文件时，python会在每个函数之后杀死内存。trading as td
df = td.open_stock('poloniex/BTC_ETH')
open_z()
内存不断增加，脚本最终吞噬了所有内存。
浏览 4提问于2018-01-12得票数 0
我编写了一个简单的Flask应用程序来测试它的内存使用情况。使用以下命令运行它：如果在不读取file.txt的情况下运行，则内存使用量为如果运行并读取file.txt，则内存使用量为18988KB。
该文件大小为50MB，但内存使用量仅增加了540KB。我不明白
浏览 14提问于2017-06-02得票数 3
回答已采纳
我有一个700 to的SQLite3数据库，我正在用一个简单的Python程序来读取/写入这个数据库。当程序在数据库上运行时，我试图评估程序的内存使用情况。我用过这些方法：
通过top/htop手动监视内存使用情况两人都
浏览 3提问于2014-05-15得票数 1
回答已采纳
1回答
运行python文件后，如何使用该文件的top命令获取CPU和内存使用信息？当我试图找到它时，我在python文件上编写了代码基，以便通过使用os.getpid()方法知道PID是什么，但是当我得到这个PID时，我根据top命令的结果搜索它，我没有找到关于该文件的任何内容。
浏览 0提问于2022-09-02得票数 0
回答已采纳
我必须做一个像那些‘在线评判’这样的工具，编译和执行c/cpp代码并返回一些结果，但也测量它是否超过了时间限制或内存限制。我找到了多个使用进程pid的linux命令，在启动可执行文件之后，我能够获得进程的PID，但是进程在那些读取内存使用情况的linux命令之前就完成了，因此它会抛出一个错误。是否有方法从给定的c/cpp文件启动可执行结果组，并使其在我告诉它之前不结束，以便有时间读取它的内存使用情况？
bash&#
浏览 10提问于2022-05-15得票数 1
我的python程序在k8s pod上运行。该程序从db读取熊猫数据中的数据&执行一些数据转换操作。在其中一个操作中，数据大小呈指数增长，从而导致内存错误。因为它是熊猫，所有的数据都保存在记忆中。为了避免这种情况，如果内存消耗超过阈值，则需要将数据写入磁盘。要做到这一点，我需要知道python程序中当前的pod内存利用率，这样，当阈值达到90%时，我就开始将数据转储到磁盘&释放内存。基本上，我需要了解python程序中pod内存
浏览 13提问于2021-11-23得票数 2
回答已采纳
1回答
我试图逐行比较两个较大的文本文件(每个10 by )，而不将整个文件加载到内存中。, open(in_file2,"r") as f2: compare(line1, line2)
但似乎python无法逐行读取文件。我在运行代码时观察到内存使用情况是> 20G。我在CentOS5.9上使用Python2.7.4，代
浏览 2提问于2013-08-10得票数 0
回答已采纳
我只处理了一个大约4MB的txt文件，这个文件经常需要I/O，比如添加新行/搜索包含特定短语的某些行/用另一行替换某些行等等。因为它不是一个大文件，所以我只是使用readlines()将它们读取到一个列表中并执行搜索工作，还使用read()将整个文件读取到一个字符串FileContent中，并使用FileContent.replace我仔细检查了我的代码，当每个线程结束时，没有未关闭的文件对象。()
我认为也许python
浏览 0提问于2011-07-18得票数 2
2回答
我从VPS提供程序购买的内存量是1GB，在系统中它表明我有1GB的内存可用。
我使用了top和ps aux命令，并获得了系统上正在运行的进程列表。经过计算，我知道apache和mysql的内存使用量不应该超过500 up。
然后，我做了一些其他的事情:我关闭了apache和mysql，并再次看到所使用的内存停留在60
浏览 0提问于2011-08-01得票数 1
回答已采纳
我想测量和比较这两个脚本在执行过程中的内存使用情况。valgrind/massif记录了my_python_script的内存使用情况，这与我通过htop看到的大致一致，但my_shell_script的情况并非如此。htop上的统计数据表明在执行my_shell_script期间内存的使用情况是GB的，而valgrind/massif只记录了使用的几十MB内存。因此，我怀疑valgrind/massif记录了bash代码
浏览 3提问于2017-09-14得票数 1
回答已采纳
1回答
我正在尝试处理一个3GB的XML文件，并在循环中间得到一个内存错误，该循环读取该文件并将一些数据存储在字典中。elem.get('id')) root.clear()
我使用的是迭代解析方法，所以问题不在于读取文件在稍后的程序中，我读取链接，需要检查链接引用的节点是否在初始的一批节点中，这就是我将它们存储在字典中的原因。我怎样才能大幅度减少<
浏览 0提问于2016-04-07得票数 3
回答已采纳
我正在开发一个C++程序，它使用boost::python为用户提供一个python包装器。该程序通过使用文件描述符打开/proc/self/statm来跟踪和限制它自己的内存使用。每个时间步都会查找到该文件的开头，并从中读取vmsize。=True)
问题是forked进程从父进程获取指向/proc/self/statm的文件描述符，而不是它自己的进程，这会报告错误的内存使用情况</
浏览 0提问于2020-04-07得票数 0
我正在尝试在我的python脚本中获取外部程序的内存使用情况。我尝试使用脚本，如下所示：subprocess.call('My program')print m1
但这似乎只是给了我python脚本的内存使用量有没有一种方法可以输出程序的内存使用情况，以便在python脚本中使用？
浏览 2提问于2012-09-04得票数 1
回答已采纳
1回答
磁盘数据的内存缓存
、、、
我一直知道主内存缓存从磁盘上的文件中读取的数据，但我很难将其与程序的典型内存使用情况相协调，如下图所示：
如果我在一个非常大的文件fread或fgetl上使用2010Stats.txt，那么在上面的图表的哪个部分上会缓存来自磁盘的内存数据
浏览 1提问于2016-03-15得票数 1
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
