在Python中并行处理不同参数的函数

文章/答案/技术大牛

发布

3回答

python、parallel-processing、python-multiprocessing

下面是我想要并行运行printRange()的简单代码： def printRange(lrange): // Call printRange in parallel with each sublist of ranges given as argument 我的问题不同于this SO question，因为在这里，每个进程都是硬编码

浏览 23提问于2019-02-20得票数 4

回答已采纳

2回答

并行运行for循环中的所有迭代

python、multithreading、for-loop、multiprocessing、python-2.2

我正在使用Python v2.2.1，并试图编写一段代码，该代码需要在for循环中并行执行一些任务。迭代次数不是固定的，取决于列表(在本例中为serverList)。如何通过多线程或多处理来实现这一点。我通读了一些示例，但它们并行调用不同的函数。在这里，我需要调用相同的函数(shutdownTask)，但使用不同的参数。

浏览 2提问于2015-06-29得票数 2

1回答

如何在python中执行批处理计算，在内核一释放就添加进程？

python、python-2.7、parallel-processing、multiprocessing

Bash具有"wait -n“函数，它可以以一种相对简单的方式用于停止子进程的后续执行，直到有一定数量的处理器内核可用为止。Function.x”，并具有不同的参数，并且始终维护固定数量的子进程的并行实例，并设置为值"CORES“。我想知道是否可以用python脚本和python子进程(或函数)完成类似的操作。目前，我定义了<

浏览 1提问于2018-04-10得票数 3

回答已采纳

1回答

如何对函数而不是循环使用多处理？

python、windows、parallel-processing、multiprocessing

我写了一个包含大约400行的函数。该函数对数据进行某种数据科学研究。当我运行这个函数时，大约花了10秒。我需要在循环中的每个iteration.Therefore中使用不同的参数运行这个函数100次，我调用该函数100次，在每次迭代中我都使用了4个不同的参数。总共花了大约15分钟。如何使用python中

浏览 1提问于2021-08-04得票数 0

回答已采纳

3回答

基于App的异步urlfetch

google-app-engine、asynchronous、google-cloud-datastore、urlfetch

我的应用程序需要对每个请求执行许多数据存储操作。我想并行运行它们，以获得更好的响应时间。由于App确实允许urlfetch调用，所以我为每种类型创建了一个getter URL，它以JSON格式的文

浏览 7提问于2009-12-27得票数 3

回答已采纳

1回答

python中的并行/多处理

python、parallel-processing、multiprocessing

我以前是一个只使用Matlab的用户，现在正在自学Python。我现在正在学习如何使用Python的并行处理。Matlab的并行编程在很大程度上主要是通过一个命令来执行的：parfor。很简单。Python中的可用选项似乎比Matlab中的多得多。这是压倒性的。例如，在multiprocess

浏览 0提问于2019-09-08得票数 1

1回答

滑雪板中的RandomizedLasso如何使用变量n_jobs？

python、parallel-processing、scikit-learn

当我不得不在python中并行化一个算法时，我通常使用多处理映射函数。我对python中的并行计算不是很精通，我希望能从中学到一些新的东西。在他们的情况下，我会使用多重处理。他们为什么要选择不同的东西？

浏览 2提问于2014-05-09得票数 0

回答已采纳

1回答

在这个python示例中，有多少个线程在运行？

python、python-3.x、multithreading、python-multithreading

我想学习如何使用python在多线程中运行函数。换句话说，我有一个很长的参数列表，我想要发送给一个可能需要时间才能完成的函数。我希望我的程序循环遍历参数并并行调用函数(不需要等到函数从第一个参数结束)。我在中找到了这个示例代码import threading # cal

浏览 8提问于2018-08-02得票数 4

1回答

扭矩PBS与Python多处理

python、pbs、python-multiprocessing、torque

我有一个Python脚本，它在一个有512个CPU和4TB内存的服务器上运行。该脚本使用Python的Multiprocessing模块通过派生30个并行子进程来进行并行处理。我可以看到有两种方法: 1.保持脚本不变，然后使用qsub提交一个运行脚本的作业。然后脚本将使用多处理模块进行并行化。2.将脚本改为串行处理，然后使用PBS提交30个具有不同并行化参

浏览 1提问于2015-02-19得票数 1

2回答

python脚本的并行处理

python、parallel-processing、multiprocessing、gnu-parallel

我有一个python脚本，它每次接受一个输入并处理它。我想在同一时间以不同的输入并行运行脚本。类似50或100次，但与不同的输入，饲料从txt文件。我执行的脚本如下：然后然后而不是一次输入一个参数，我想从文本文件中</

浏览 1提问于2018-09-04得票数 0

回答已采纳

1回答

用不同的参数并行运行相同的函数，并知道哪个并行运行在python中结束。

python、python-3.x、multithreading、python-2.7、multiprocessing

我有一个应该在多个设备上并行运行的执行函数。在完成每个并行运行时，我需要调用一个不同的函数。我不能等待所有的并行调用完成，因为根据传递的参数，它需要非常不同的时间。我如何在Python中做到这一点？

浏览 2提问于2020-03-05得票数 0

2回答

使用并行包将具有不同参数的函数调用发送给R中的不同处理器

r、parallel-processing

我试图使用R中的并行包向四个不同的处理器发送四个不同的函数调用，但是对于如何分配不同的核来完成不同的工作，我真的很困惑。我已经阅读了R中的并行包、doParallel、Rmpi和foreach的文档，我看到了许多使用mclapply调用不同函数的</

浏览 4提问于2014-07-30得票数 6

回答已采纳

1回答

如何在python中独立运行不同的子进程？

python

我有各种python函数，我打算独立运行它们。例如，def graphic()负责所有GUI元素并呈现GUI def connect()此函数不断侦听并连接到其他系统p = Process ( target = graphic() , args = () ) p1 = Process (target =c

浏览 2提问于2011-05-05得票数 1

回答已采纳

1回答

如何将参数从aws状态机/步骤函数传递到aws lambda

amazon-web-services、aws-lambda、aws-step-functions

我试图从状态机将一个参数传递给一个aws python lambda。我已经编写了以下函数：下面是lambda函数testPassInArgs：另一个lambda 'testRecieveArgs：我本以为状态机的第二部分中的“参数”

浏览 23提问于2019-03-28得票数 2

1回答

使用Python的射线模块时修改共享内存中的数据

python、parallel-processing、ray

目前，我正试图使用Python模块并行化ray代码的某些部分。不幸的是，ray默认不允许修改共享内存中的数据(至少根据我的理解)。这意味着我需要先执行一个numpy.copy()，这对我来说是非常低效的。这可能是一个效率很低的例子：import ray def mod_arr( arr ):

浏览 5提问于2021-12-02得票数 1

回答已采纳

2回答

在Linux shell脚本中并行运行python命令

python、linux、shell

我有一个脚本，它通过命令行参数从用户那里获得输入。它处理参数并开始运行python命令。例如：python abc.py p1 p4其中p1、p2、p3和p4可以是任何类型的。我需要并行地和在两个不同的终端中运行这两个python命令。我如何才能这样做，使我不需要等待一个命令完成才能启

浏览 3提问于2016-09-30得票数 3

回答已采纳

2回答

同时可以做更多的事情吗？

python、asynchronous、process

是否可以创建一个同时执行更多事情的程序(例如python)？time.sleep(30)但是同时做一些其他的事情

浏览 7提问于2019-11-13得票数 1

回答已采纳

2回答

如何使用Python多处理将其并行化？

python、parallel-processing、large-data、multiclass-classification

我用Python编写了一个1vs rest分类器，它训练11个不同的分类器，每个类一个分类器。beta_temp,objs = svm(lamb, 0.1, 200, X_train, y) return beta 如何使用Python多处理模块并行化上面的程序？据我所知，多处理只能用于只有一个参数的代码。我如何将其扩展到这个接受多个参数<

浏览 0提问于2018-05-20得票数 0

1回答

并行启动多个ec2实例，并在每个实例中执行坞容器

python、amazon-web-services、amazon-ec2

我的任务需要执行一个python脚本，该脚本以文本文件和另一个参数(X)作为输入，处理文本文件，并以文本文件的形式将输出保存到S3桶中。我有一个SQS队列，它包含几条消息，每条消息都包含文本文件名和python文件的参数(X)。现在，我希望启动多个ec2实例来使用SQS队列中的每个消息运行python脚本，并且我希望并行执行这些实例以节省时间。我怎样才能完成这项任

浏览 13提问于2022-02-02得票数 -1

2回答

Python :回调模式

python、parallel-processing、python-rq

我现在有大量的文档要处理，并且正在使用Python并行化任务。然而，Python似乎并不能很好地支持管道内容。q.enqueue(A, the_doc) 其

浏览 4提问于2014-06-18得票数 6

点击加载更多