腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
并行
运行
的
python
线程?
python
、
multithreading
、
concurrency
我知道由于它们的VM实现,Jython和IronPython可以
并行
运行
线程(以利用多核或SMP机器)。在CPython中有没有这样做的实现或扩展?我不是在谈论中的多
处理
与JVM或.Net中的线程相比,多
处理
模块中的子
进程
有
多
“重”?每个Process对象都有
python
运行
时的开销吗?我也看到过Tasklet的无堆栈并发“方式”,但它们使用循环调度,
不能
并行
运行
Tasklet。
浏览 0
提问于2011-05-27
得票数 2
回答已采纳
3
回答
多
进程
=
运行
多个
进程
?
c++
、
python
、
windows
、
parallel-processing
、
multiprocessing
我对多重
处理
有点困惑。我是一个3年的
Python
程序员,但是从来没有真正需要
并行
地(不仅仅是异步地)执行任务。但是我所知道的,或者我想知道的是,当使用multiprocessing中的
python
.exe模块来实现“真正的
并行
性”时,就会产生新的
python
.exe
进程
!但是我没有看到任务管理器中有多个Cinema 4D.exe
进程
。 上述语句是否正确,即在使用multiprocessing模块时生成了多个
Python
进程
浏览 17
提问于2013-02-08
得票数 2
回答已采纳
1
回答
确定
多
实例子
进程
中
并行
进程
的数目
camunda
我正在模拟一个过程,这个过程有时需要非常
多
的
并行
子
进程
(数万)才能启动。显然,所有这些都不可能同时
并行
运行
-- Camunda
进程
引擎将如何
处理
这个问题?可以控制一次
运行
多少个子
进程
吗?
浏览 3
提问于2022-04-12
得票数 0
1
回答
Python
多
处理
:
进程
不能
并行
运行
python
、
multithreading
在学习
python
中的多
处理
模块方面,我是个新手。process_1.start() process_2.join() 因此,我遇到了以下问题:我预计两个
进程
将通过
并行
工作打印混合的立方体和正方形is 16square of 6 is 36square of 8 is 64 square of 9 is 81 很明显,
进程
不是
并
浏览 62
提问于2020-04-29
得票数 0
回答已采纳
3
回答
在
Python
中使用线程时要注意的注意事项?
python
、
multithreading
我对
Python
中的线程非常陌生,有几个初学者的问题。 使用threading模块可以在
Python
代码中
运行
的最大线程数是多少?你做了什么把戏来达到这个数字吗?
浏览 4
提问于2010-05-30
得票数 4
回答已采纳
2
回答
使用top命令
并行
化的
Python
程序看上去如何?
python
、
c
、
top
、
parallelism
我看到人们在这个集群上
运行
并行
c代码,当我使用top查看正在
运行
的
进程
时,显示它使用(例如) 400%的CPU,因为他们在单个代码实例中使用四个
处理
器。现在有人正在
运行
一个
并行
化的
Python
代码(据我所知)。然而,不是top显示的代码使用了400%的CPU,而是显示为四个不同的
进程
,每个
进程
都使用自己的
处理
器( 100%)。我想知道,
Python
(当
并行
化时)
浏览 0
提问于2014-06-13
得票数 3
回答已采纳
3
回答
线程与
进程
在硬件级别上的执行方式有何不同?
python
、
multithreading
、
multiprocessing
我想知道线程是如何在硬件级别上执行的,就像一个
进程
在单个
处理
核心上
运行
,并在
处理
器和MMU上进行上下文切换,以便在
进程
之间切换一样。线程如何切换?其次,当我们创建/生成一个新线程时,它会被看作是
处理
器的一个新
进程
吗?我知道我现在可能听起来很傻,那是因为我的知识有很大的差距,我想填补。
浏览 6
提问于2020-03-04
得票数 0
回答已采纳
2
回答
在AWS Lambda函数中使用
Python
多
处理
队列
python
、
aws-lambda
、
multiprocessing
、
queue
我有一些
python
,它可以创建多个
进程
来更快地完成任务。当我创建这些
进程
时,我传入一个队列。在
进程
内部,我使用queue.put(数据),以便能够在
进程
之外检索数据。它在我的本地机器上
运行
得很好,但是当我将zip上传到AWS函数(
Python
3.8)时,它说Queue()函数在AWS中
运行
得不是很好,我只是去掉了队列功能,所以我知道这是我目前唯一挂起的。我确保通过使用"pip多
进程
-t ./“和"pip
浏览 8
提问于2020-01-08
得票数 6
回答已采纳
1
回答
我应该在Airflow中使用
Python
原生多线程还是多任务?
python
、
mongodb
、
airflow
这个.NET应用程序使用多线程从mongoDB中提取和
处理
数据(如果没有多线程,这个过程大约需要10个小时,如果使用多线程,我可以减少这个时间)。该值用于控制哪个线程
处理
文档。我将开发一个气流DAG来优化这个过程。我怀疑的是性能和实现这一目标的最佳方法。 我的应用程序应该有多个任务(我将在
python
方法的输入中控制process变量)。或者我应该只使用一个任务,并在这个任务中使用
Python
MultiThreading?下图说明了我的疑虑。不过,使用
Python
多线程,我知道我必须在de task方法
浏览 66
提问于2021-09-15
得票数 0
回答已采纳
2
回答
Python
多
处理
:
处理
2000
进程
python
、
python-3.x
、
multithreading
、
multiprocessing
、
python-multithreading
以下是我的多
处理
代码。regressTuple大约有2000个项目。因此,下面的代码创建了大约2000个
并行
进程
。我的戴尔xps 15笔记本电脑在
运行
时会崩溃。
python
多
处理
库
不能
根据硬件可用性来
处理
队列并在最短的时间内
运行
程序吗?我做得不对吗?
python
中是否有API调用来获取可能的硬件
进程
计数?如何重构代码以使用输入变量获得
并行
线程计数(硬编码),并通过多次线程循环
浏览 0
提问于2019-03-14
得票数 2
回答已采纳
2
回答
如何告诉Pool每个
进程
使用一定数量的核心?
python
、
multiprocessing
、
pool
我正在使用multiprocessing.Pool
并行
化一个项目中的一些计算。我怎样才能告诉Pool使用n(例如。4)每个
并行
进程
的核心? 假设我有8个核心。这段代码会确保每个
并行
进程
在4个核上
运行
吗?
浏览 0
提问于2019-05-24
得票数 0
回答已采纳
1
回答
整个Kedro流水线的
并行
性
kedro
我在一个项目中工作,我们正在
处理
非常大的图像。管道有几个节点,每个节点都产生下一个节点
运行
所需的输出。我的理解是,ParallelRunner是
并行
运行
节点的。它正在等待每个
进程
在移动到第二个节点之前完成第一个节点,等等。我的问题是输入需要不同的时间才能完成。如此
多
的
进程
在没有必要的情况下等待其他
进程
完成一个节点,因为每个
并行
进程
都不依赖于另一个
进程
,只有它自己的先前计算的结果。 有没有办法在不同的
浏览 5
提问于2021-01-06
得票数 0
1
回答
为什么实现多
处理
会使我的程序变慢?
python-3.x
、
python-multiprocessing
我正试图在我的代码中实现多
进程
,以使它更快。无多
处理
import fitting_package fit(best_fit_curve, signal_
浏览 5
提问于2021-12-18
得票数 0
回答已采纳
2
回答
在aws中始终使用concurrent.futures.ThreadPoolExecutor抛出超时异常
amazon-web-services
、
aws-lambda
、
python-3.7
、
concurrent.futures
executor: return_value = future.result() 我已经使用
python
当我注释掉该代码时,它的工作方式是fine.Also的,它可以很好地
处理
常规
python
线程实现。
浏览 2
提问于2020-01-30
得票数 3
1
回答
当另一个
进程
在bash中结束时
运行
并行
进程
bash
、
parallel-processing
当我必须从bash
运行
六个
python
脚本时,我有一个任务。我有三个短脚本(拍照)和三个长脚本(图像
处理
),应该在照片完成后
运行
。我知道为了让两个
进程
连续
运行
,我应该写成
python
script1.py
python
script2.py 为了实现
并行
执行,我应该这样写
python
script1.py &
python
script2第2和第3个
进程
并行</
浏览 21
提问于2020-04-09
得票数 1
回答已采纳
2
回答
shell脚本中的
并行
处理
,“pid不是此shell的子级”
bash
、
shell
、
parallel-processing
、
wait
我有一个关于shell脚本中的
并行
处理
的问题。我有一个程序my Program,我希望在循环内的循环中多次
运行
它。/myProgram $MYPATH/$SUBDIRS/outputfile.datdone 我希望做的是利用
并行
处理
的优势。我想要做的是在内部循环中
并行
运行
每次出现的myProgram,但在进入下一个外部循环迭代之前,请等待所有这些操作完成。
浏览 0
提问于2011-11-08
得票数 1
回答已采纳
2
回答
file.read()多
进程
和GIL
python
、
multiprocessing
、
gil
我读到过用C实现的某些
Python
函数,我假设其中包括file.read(),可以在它们工作时释放GIL,然后在完成时将其取回,这样做可以利用多个内核(如果它们可用)。我正在使用多
进程
来
并行
化一些代码,目前我有三个
进程
,父
进程
,一个子
进程
从文件中读取数据,另一个子
进程
从第一个子
进程
传递给它的数据生成校验和。现在,如果我理解正确的话,看起来创建一个新的
进程
来读取文件是不必要的,我应该在主
进程
中调用它。问题是,我是否正确
浏览 0
提问于2012-08-31
得票数 4
回答已采纳
1
回答
多线程嵌入式
Python
。是这样的吗?
python
、
c++
、
concurrency
、
cpython
、
python-embedding
我正在编写一个C++应用程序,希望在其中使用嵌入式
Python
3.7并发
运行
多个
Python
脚本。这些脚本应该彼此独立
运行
,因此它们不应该共享任何变量。 我想我终于想通了。#define PY_SSIZE_T_CLEAN#include <thread> PyTh
浏览 26
提问于2019-09-16
得票数 1
1
回答
并行
运行
单独的
进程
-
Python
python
、
python-3.x
、
parallel-processing
、
multiprocessing
我使用
python
的“多
进程
”模块在多个内核上
运行
单个
进程
,但我想
并行
运行
几个独立的
进程
。例如,Process-one解析大文件,Process-two在不同的文件中查找模式,process three进行一些计算;这三个不同的
进程
是否可以
并行
运行
具有不同参数集的这三个不同的
进程
?,即它们
不能
在多个
处理
器上
运行
。这些
进程
按顺序<
浏览 1
提问于2013-09-30
得票数 11
回答已采纳
1
回答
如何在分布式Tensorflow中
并行
化
python
输入流水线
python
、
tensorflow
、
tensorflow-datasets
我有一个很重要的输入管道,它包括读取基本事实和原始数据,并对它们执行预
处理
,用
Python
编写。为一个样本
运行
输入管道需要很长时间,所以我让多个
进程
(来自
python
多
处理
包)
并行
运行
和排队,以便快速执行操作并预取数据。然后使用feed_dict将输出提供给我的网络。我试图转移到tf.data应用程序接口,通过包装tf.py_func我的read+preprocess函数,但它
运行
很慢,可能是由于GIL,即使增加了多个调用的数量。我希
浏览 63
提问于2018-04-25
得票数 5
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Pycharm里如何设置多Python文件并行运行
只需三行Python代码,就可以让你的数据处理脚本快别人4倍
有轻功:用3行代码让Python数据处理脚本获得4倍提速
python入门教程12-04(语法入门之进程的两大重要概念)
基于Python的“地理处理”并行方案
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券