腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
大量
的
python
多处
理会
导致
内存
错误
python
、
python-3.x
、
windows
、
multiprocessing
、
python-multiprocessing
简介 您好,我正在尝试使用
python
3
多处
理在循环中运行windows OS命令,但是当循环变得很大(数千个命令)时,我得到
内存
错误
,并且进程退出/永远不会完成。 为什么?--我不需要命令
的
结果!只是为了让它跑起来。使用
python
多次运行windows操作系统命令
的
正确方法是什么(同时保持任何线程)。
浏览 13
提问于2020-04-27
得票数 0
1
回答
只有在
多处
理时才会占用
大量
内存
python
、
multiprocessing
我正在尝试使用
python
的
多处
理库,希望能获得一些性能。具体来说,我使用
的
是它
的
函数。现在,由于某些原因,当我将它与它
的
单进程对应物交换时,我没有得到高
内存
使用率。但是使用map
的
多处
理版本会让我
的
记忆力达到顶峰。根据记录,我正在做
的
事情可以很容易地占用
大量
内存
,但两者之间
的
区别会
导致
如此明显
的
差异吗?
浏览 0
提问于2010-04-25
得票数 5
回答已采纳
1
回答
process :尝试在当前进程完成其引导阶段之前启动一个新进程。
python
、
python-3.x
、
multithreading
、
multiprocessing
我试图在spyder3上运行一个
多处
理函数。当它不会在循环中打印任何东西并且被无限地卡住之后,我读到我可以像这样在spyder
的
外部终端上运行它。可悲
的
是: File "<string>", line 1, in <module>RuntimeError: An attempt has been
浏览 2
提问于2020-05-21
得票数 8
1
回答
Python
3:
多处
理会
消耗
大量
内存
,并且速度慢。
python-3.x
、
multiprocessing
、
ram
、
python-multiprocessing
我启动多个进程以创建一个新对象
的
列表。htop显示在1到4个进程中(我总是创建3个新对象)。程序开始消耗我所有的RAM,而顺序方法没有任何显着
的
RAM使用。 waiter.acquire() 编辑给出一些关于我
的
情况
的
信息。我创建一棵由节点组成
的
树。进程返回
的
result是这些子节点。它们保存在父节点<em
浏览 3
提问于2016-07-01
得票数 6
回答已采纳
1
回答
从
Python
释放
内存
回操作系统
的
方法?
python
、
python-2.7
、
garbage-collection
、
multiprocessing
、
psutil
(largeTempVariable,x) 问题是,在我
的
一个测试用例中,变量temp大约是500MB,但是当memoryIntensiveFunction结束时,这个空间不会返回给操作系统。我之所以知道这一点,是因为guppy工具
的
内存
分析表明largeTempVariable是自由
的
(即在
Python
中),但psutil显示它不是,我想我看到
的
是描述
的
效果。问题是这个进程是长时间运行
的
(即几个小时),memoryIntensiveFunction从
浏览 0
提问于2014-07-04
得票数 5
1
回答
相同代码中
的
Python
线程和
多处
理会
导致
酸洗
错误
python
、
multithreading
在Windows 7上使用
Python
3处理一些大型csv文件时,我遇到了程序运行不够快
的
问题。代码
的
原始工作版本类似于下面的代码,但是进程调用都是线程。在添加multiprocessing库并将tdg.Thread传输到mp.Process (如下面所示)时,我将收到此酸洗
错误
: proc1.startproc2.start() proc2.join() p2 = pq2.get() print(p
浏览 0
提问于2014-08-21
得票数 0
回答已采纳
1
回答
python
会使用multiprocessing.sharedctypes来收集共享
内存
中分配
的
内存
吗?
python
、
garbage-collection
、
multiprocessing
我使用multiprocessing.sharedctypes.Array()来分配一个共享
内存
来进行
多处
理。但是,当程序运行时,我观察到kernel_task占用
大量
内存
(如9 9GB),并且交换
内存
正在增加。所以我想知道
python
会自动收集在共享
内存
中分配
的
内存
吗?另外,我检查了multiprocessing.heap
的
代码,它确实有malloc()和free()。但在sharedctype s.py中,它只调
浏览 2
提问于2014-11-12
得票数 2
3
回答
Python
-内部
内存
的
替代方案
python
、
multithreading
、
python-multiprocessing
、
python-3.7
我正在编写一个需要高
内存
使用率
的
程序。我使用
python
3.7.10。在这个程序中,我创建了大约3GB
的
python
对象,并对它们进行了修改。我创建
的
某些对象包含指向其他对象
的
指针。我
的
问题是,这些对象
的
创建和修改需要花费
大量
的
时间,并
导致
一些性能问题。我希望我能并行地做一些创造和修改。然而,也有一些限制: 该程序具有很强
的
CPU限制,并且几乎不使用IO
浏览 13
提问于2022-09-25
得票数 1
回答已采纳
1
回答
如何使用hexpat延迟处理xml文档?
xml
、
haskell
出于测试目的,我将输出重定向到/dev/null,并抛出一个300mb
的
文件。
内存
消耗一直在上升,直到我不得不终止这个进程。现在,我从process函数中删除了
错误
处理:process filename = do L.hPutStr hFile $ format xml hClo
浏览 3
提问于2012-03-20
得票数 4
1
回答
Python
对二进制
的
多处
理会
导致
错误
的
缩放。
python
、
multiprocessing
为此,我使用
python
多处
理模块。二进制本身具有并行化,可以使用OMP_NUM_THREADS环境变量进行设置。下面是我
的
代码
的
一个极简示例import osimport time如果我设置了OMP_NUM_THREADS=1,那么增加nCPU就会产生良好<
浏览 2
提问于2014-06-23
得票数 0
回答已采纳
1
回答
使用slurm运行
python
3
多处
理作业会生成
大量
的
core.#文件。它们是什么?
python-3.x
、
python-multiprocessing
、
slurm
所以我有一个由slurm运行
的
python
3作业。
python
作业使用了
大量
的
多处
理,生成了大约20个左右
的
线程。代码并不完美,使用了
大量
内存
,偶尔会遇到一些意外
的
数据并抛出
错误
。这本身不是问题,我不需要20个过程中
的
每一个都完成。 问题是,有时某些东西会
导致
程序创建名为core.356729
的
文件(点后
的
数字会发生变化),而这
浏览 275
提问于2021-08-07
得票数 1
回答已采纳
1
回答
sm13上块
的
实际共享
内存
量是多少?
cuda
参考, 这是否意味着,如果我有
大量
的
运行块,每个块只能有2KB
的
共享
内存
?如果不是这样的话,而且每个块仍然有16 MP
的
共享
内存
,那么当有两个16 MP
内存
的
块在signle MP上执行时,它是存储
的
吗?
浏览 2
提问于2013-12-22
得票数 1
回答已采纳
1
回答
单节点/服务器上
的
扭曲线程+ MapReduce?
python
、
multithreading
、
twisted
、
mapreduce
我听过和读过很多关于
Python
中
的
线程与进程主题
的
文章、书籍和演示文稿。在我看来,除非有人正在做
大量
的
IO,或者想要跨作业使用共享
内存
,否则正确
的
选择是使用
多处
理。但是,到目前为止,我所看到
的
Twisted似乎使用了线程(来自
python
线程模块
的
pThreads)。Twisted似乎在处理
大量
数据方面表现得非常非常好。我有相当多
的
进程,我希望在单个节点
浏览 1
提问于2011-02-16
得票数 2
回答已采纳
1
回答
h5py
内存
文件与
多处
理
错误
python
、
multiprocessing
、
hdf5
、
in-memory
、
h5py
这是给你
的
HDF5和
多处
理大师..。首先,我知道
python
和
多处
理模块并不一定彼此喜欢,但是我得到了一个我无法理解
的
错误
。我正在处理
的
脚本创建了一个临时
内存
中
的
hdf5文件,将来自(泡菜)输入文件
的
数据存储在
内存
文件中,然后
多处
理池对来自临时HDF5文件
的
数据执行(只读)操作。我已经能够隔离
导致
错误
的
代码,下
浏览 3
提问于2013-02-27
得票数 1
2
回答
异步/IO与并行性
python
、
python-3.5
、
python-multiprocessing
、
python-asyncio
、
aiohttp
另一方面,像uwsgi这样
的
常规同步服务器可以通过真正
的
并行线程和进程充分利用计算机
的
计算资源。那么,如果异步/IO没有
多处
理并行,为什么它是新
的
和流行
的
呢?像aiohttp这样
的
异步服务器可以进行
多处
理吗?
浏览 1
提问于2018-09-16
得票数 8
2
回答
在
python
中,
多处
理比线程慢。
python
、
multithreading
、
multiprocessing
我在
python
中测试了多进程和线程,但多进程比线程慢,我使用editdistance计算距离,我
的
代码如下: dists = []= self.func(*self.args) super().join(self)在我
的
电脑上
浏览 0
提问于2018-12-11
得票数 0
1
回答
在使用
Python
中
的
多处
理程序
的
新实例中重新加载什么?
python
、
python-3.x
、
multiprocessing
我认为使用
多处
理会
导致
程序
的
新实例被初始化。例如,以下代码将
导致
初始化7个实例:pool.apply_async(process, args=(properties,)) for propertiesin properties_list] 不过,我
的
问题是,在新实例中实际加载
的
是什么?例如,如果我有file_a.py,它从file_b.py调用一个函数,而file_b.py中
的
函数使用多重处理
浏览 1
提问于2017-01-13
得票数 0
回答已采纳
2
回答
使用进程
的
Python
多处
理:占用
大量
内存
python
、
memory-leaks
、
python-multiprocessing
我从单个
python
代码中运行多个进程:while 1: ReadyMsg = sqsObject.readM2Q: processRunning = 0 在这里,我从队列中读取消息,并创建一个进程来运行该消息
的
算法我要设置maxProcess
的
上限。因此,在到达maxProcess之后,我希望通过检查is_alive()来重用不活动<em
浏览 2
提问于2016-08-08
得票数 0
回答已采纳
1
回答
执行
Python
多处
理时
的
图像路径问题
python
没有
多处
理是没有问题
的
。单独使用
多处
理会
导致
路径问题。无论我怎么努力搜索,我都找不到内容
的
答案,所以我寻求帮助import tensorflow as tffrom keras.preprocessing.imageprint("***run time(sec) :", int(time.time()) - start) if __name__ == "__main__&q
浏览 0
提问于2021-05-04
得票数 0
1
回答
使用
Python
多处
理
的
内存
管理
python
、
memory-management
、
multiprocessing
据我所知,另一个
Python
实例是从
多处
理开始
的
。如果是这样,c. Wrt b),是调用之间持续
的
内存
分配。如果第一个进程连续使用,但第二个进程很少使用,那么在进程调用它之间是否重新创建
浏览 5
提问于2014-01-24
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
仅用几行代码,让Python函数执行快30倍
Python 多处理和并行编程指北
性能分析之大屏可视化平台瓶颈分析
Python正在慢慢失去魅力?
如何加速 Python 代码?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券