1回答
我正在使用python对文本文件进行一些处理，在使用MemoryError时遇到了一些问题。有时正在处理的文件非常大，这意味着多进程使用了太多的内存。root, f)) pool.map(preprocess_file, pool_processes)
我尝试使用资源包来限制每个进程可以使用的内存大小我希望每个</e
浏览 25提问于2020-05-22得票数 0
我有一个用python编写的服务器，当偶尔有某些输入进来时，它会使用大量的RES内存。让python脚本持续占用这么多内存是很烦人的，因为我们在同一台机器上运行了很多其他的东西。我做了一些研究，发现将这些内存释放回操作系统的唯一可靠方法是退出进程。因此，我希望能够重新启动python脚本，当它在处理每个输入后检测到自己使用了太多
浏览 3提问于2012-12-13得票数 0
我试图使用Dask来处理比内存更大的数据集，这些数据集存储在存储为NumPy文件的块中。dtype=np.float32 for path, size in zip(shard_paths, shard_sizes)然后使用da.map_blocks对文件进行一些处理da.map_blocks(fn, array, drop_axis=[-1]).compute()
当我运行这个程序时，我的进程会被终止，大
浏览 1提问于2022-07-24得票数 0
1回答
终端服务中是否有为进程的内存相关参数设置限制的方法。例如，工作集大小，如果有意义的话，会话的总虚拟内存分配？为了解决这个问题，我们有一个应用程序，它不能像在桌面PC上运行时那样在终端服务器上分配尽可能多的虚拟内存(我希望用户模式地址空间限制在2GB )，我想知道终端服务器上的进程或用户是否还有另一个限制。也许每个用户甚至2GB，而不是每个
浏览 0提问于2010-06-16得票数 0
1回答
我正在尝试使用python的多处理库，希望能获得一些性能。具体来说，我使用的是它的函数。现在，由于某些原因，当我将它与它的单进程对应物交换时，我没有得到高内存使用率。但是使用map的多处理版本会让我的记忆力达到顶峰。根据记录，我正在做的事情可以很容易地占用大量内存，但两者之间的区别会导致如此明显的差异吗？
浏览 0提问于2010-04-25得票数 5
回答已采纳
1回答
我有一个在Python2.7中用批量执行的进程，并生成大致如下大小的numpy float64数组：
现在，它们在每一批中进行处理这是可管理的(12×2000×89×8字节/float=大约17 my )，但是我想对我的整个数据集做一些分析。我需要以某种方式将沿维B的批次连接到至少1000000个大小，这意味着8.5GB，然后将它们拆分到维度C中，分别
浏览 6提问于2017-05-15得票数 2
但是，我有一个与并行的Python程序，正如您在这张截图中看到的那样，每个进程使用的CPU比例远远低于100%，进程状态为，即等待IO。
该程序对10000 (非常小)数据集中的每个数据集运行一次函数。每个这样的函数执行都需要几分钟时间，除了进行计算之外，它还通过sqlalchemy (仅读取)查询sqlite数据库，加载了相当多的内存。
浏览 11提问于2022-08-25得票数 0
我有一个python应用程序，它使用了大量的内存，在使用try / except MemoryError的循环中处理它应该是很好的。如果我能抓住它，我有一个简单的缓解，但除了例外，我不能调用我的缓解。
对于信息，应用程序正在处理视频，每个帧都是15 is的numpy对象。如果内存不足，我很乐意降低帧率，然后再试一次。在使用psutil.available加载每个<
浏览 1提问于2018-09-09得票数 8
是否可以在进程(由多处理创建)之间共享gmpy2多精度整数()，而无需在内存中创建副本？每个整数大约有750,000位。整数不被进程修改。
谢谢。
浏览 1提问于2016-05-08得票数 0
回答已采纳
2回答
一旦线程结束，就会创建一个新的线程。每个PHP进程从队列中获取下一个项，处理它并退出。基本代码：PHP进程是Symfony任务，Symfony需要相当大的内存。如何安全地计算每个线程所需的堆栈空间，以便PHP进程有足够的内存？php.ini中
浏览 3提问于2010-04-23得票数 1
回答已采纳
2回答
问题
我有一个包含900,000行和8列的数据集。其中6列是整数，另外两列是浮点数。当尝试拟合大约1/4的数据集(200,000)时，代码运行良好，所需时间不到30秒。当我尝试运行400,000行或更多行时，我的计算机永久冻结，因为python.exe进程占用了超过5 5GB的内存。我尝试的下一件事是找出是否有一部分数据需要占用更多的内存来处理。我记录了
浏览 9提问于2015-06-11得票数 2
在Windows Server 2003如何处理进程的工作集方面，有两个不同的问题(虽然我认为是相关的)。
首先，在控制台会话上运行GUI应用程序，其当工作集的顶层窗口最小化时，将对其进行裁剪。。我知道使用GUI运行服务器进程是非常不寻常的，但是这些遗留应用程序做的是一些我无法做的重要事情。其次，有一个长期运行的数据库服务器，它在客户端连接时分配大量内存<
浏览 0提问于2012-02-22得票数 6
回答已采纳
2回答
线程结束后释放内存
、、、
我正在开发一个应用程序，它主要是一个API，但也有一个多线程后台作业处理系统，用于执行计划的作业以及需要花费太长时间进行即时API响应的临时作业。我面临的挑战是每个进程将如何继续占用作业处理
浏览 0提问于2018-04-26得票数 3
3回答
我们使用Azure网站作为我们的平台提供商，我正在调试一些与托管应用程序相关的内存问题，我们需要一种实用的方法来了解为什么我的应用程序会消耗这么多内存。我们有大约50个在线用户，但是消耗了来自120个线程的1.5 GB的IIS进程。我尝试了内存转储，但我没有得到足够的线索来解决这个问题。过去我使用的是yourkit.net分析器。发现问题非常顺利，因为我能够监控线
浏览 0提问于2015-01-13得票数 1
2回答
我想知道在rails应用程序中，ruby进程的正常内存使用量是多少？我真的需要一些可以作为基准的东西。在我的开发环境WEBrick中，一个单独的ruby进程使用大约61mb来处理10个不间断的并发请求。在我的prod环境中，Apache2+Passenger启动了7个ruby进程来处理相同数量的请求。这些进程中的每个</
浏览 1提问于2010-03-14得票数 1
Spark master内存需求是否与处理数据的大小有关？Spark驱动程序和Spark workers/executors直接处理已处理的数据(并执行应用程序代码)，因此它们的内存需求可以与已处理数据的大小联系起来。但是Spark master会受到数据大小的影响吗？在我看来并非如此，因为它只管理Spark工作人员，而不直接处理数据本身。
浏览 21提问于2017-03-08得票数 6
我目前正在致力于将一些遗留分析重构到Python/DASK中，以展示其作为未来解决方案的有效性。 我正在尝试设置一个演示场景，我遇到了内存问题，希望得到一些建议。我的场景是:我在S3上将数据拆分为52个gzip压缩的拼图文件，每个文件在内存中的未压缩大小约为100MB，总数据集大小约为5.5 52，行大小正好为100,000,000行。每个worker运行一个进程，一个线程和4 4GB<e
浏览 32提问于2019-09-20得票数 1
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
