无法在python中进行并行处理

文章/答案/技术大牛

发布

1回答

PyOpenCL vs Python多处理？

python、opencl、hpc、pycuda、pyopencl

我对这个话题做了相当多的研究，似乎无法得出结论。因此，我知道OpenCL可以用于使用图形处理器和中央处理器的并行处理(与CUDA相反)。既然我想用图形处理器和中央处理器进行并行处理，那么是使用python + PyOpenCL/PyCUDA的多处理模块进行并行处理，还是只使用PyOpenCL进行图形

浏览 2提问于2016-09-17得票数 2

1回答

python、python-3.x、parallel-processing、multiprocessing

这段代码总是抛出错误"Errno 32 Broken“(错误发生在写有processesi.start()的代码行上)： from NetworkEnsemble import NetworkEnsemble ensemble.train_network(network_num) ensemble = NetworkEnsemble( NUM_NETWORKS, (600), 0.0

浏览 21提问于2020-10-11得票数 0

2回答

巨蟒中央调度中的并行处理？

python、parallel-processing、grand-central-dispatch

有没有一种在Python中使用类似于苹果的概念进行并行处理的方法？从一开始，中央调度看起来就像是一种处理并行处理的好方法。如果Python没有一个基本等价的模块，那么在Python中有效实现的Grand Central Dispatch背后有哪些基本概念呢？我对Grand不太了解，因此我想知道是否使用了(1)在Python中还没有使用的范例，以及

浏览 9提问于2011-10-31得票数 5

回答已采纳

1回答

多处理vs运行几个Python解释器

python、multiprocessing

对于长期运行的、令人尴尬的并行任务，使用多处理与并行运行多个python解释器有什么好处吗？目前，我正在启动几个python解释器，它们对输入数据进行分析，每个解释器都将结果转储到一个单独的泡菜文件中。对输入数据进行切片和组合结果是非常简单的。为此，我在OS和linux上使用python3.4。用多处理模块重写代码值得吗？在我看来不是，但我远不是专家.

浏览 2提问于2015-06-12得票数 1

回答已采纳

1回答

java和python在并行处理方面的不同

java、python、parallel-processing、forkjoinpool

我使用java.util.concurrent.ForkJoinPool编写并行处理程序。在进行此程序时，我检查了top和htop，并注意到在top中只有一个java进程，而在htop中有许多进程。我的大四学生正在使用python编写并行处理程序，他说，奇怪的是，top中只有一个进程。他还说，top中的"CPU使用率“通常超过90%。但是我的程序只使用了68%。我认为原因在于如何实现jav

浏览 1提问于2018-06-26得票数 2

回答已采纳

1回答

用于并行处理的Python本机特性

python、python-3.x、parallel-processing

我被要求使用本机python特性编写一个示例并行处理程序。我可以编写代码，但问题是--即使在搜索之后，我也无法在python中找到本机并行编程特性。因为我们必须导入“多处理”模块--它不是本机的。已经检查了以下线程，但它们使用多处理：

浏览 3提问于2017-02-08得票数 2

回答已采纳

1回答

不同初始猜测的并行openmdao优化

openmdao

为了使这个过程更快，我目前使用Python的多处理模块，并在一个并行子进程中解决每个openm道问题。但是，随着我的问题变得更加复杂，我也想并行化优化过程(通过使用ParallelGroup和/或分布式组件)，而且我不确定mpi是否会以奇怪的方式与Python的多处理进行交互。在解决单个问题和多个问题实例时，是否有任何openmdao特性同时处理并行性？

浏览 1提问于2015-11-04得票数 0

回答已采纳

1回答

新的python“异步”和“等待”真正的并行化？

python、asynchronous、parallel-processing、python-3.5

尽管如此，它们是相关的，并且通常您可以并行地执行并发任务。因此，我想知道:有没有办法使用新的async和await特性来实现真正的并行？

浏览 1提问于2015-10-22得票数 0

1回答

使用GNU并行过程的独立numpy随机数

python、numpy、parallel-processing、random-seed、gnu-parallel

据我所知，在运行具有相互独立的随机数生成器的并行进程时，建议使用numpy.random.SeedSequence()。在使用python多处理库时，这似乎很容易。但是，我无法想出一种方法来使用GNU并行的这个功能。是否有一种简洁的方法可以确保使用GNU并行运行python脚本的独立随机数生成？

浏览 11提问于2022-02-14得票数 0

回答已采纳

1回答

Python与MPI进程之间的内存共享策略

python、mpi、ipc

我有一个生成系统矩阵的Python脚本。这是连续发生的，在一个处理器上，在一个进程中，没有并行化。我也有一个解算码。代码使用MPI在许多处理器上运行。目前，Python脚本创建矩阵，将其写入文件，通过subprocess.call(["mpirun ....."])调用求解器，求解器从文件中读取矩阵，进行求解，将其写回文件，最后Python脚本从文件中<

浏览 5提问于2017-05-16得票数 0

1回答

在Python中使用多处理进行并行处理

python、parallel-processing、multiprocessing

我对在Python中进行并行处理是个新手。我有一个很大的数据框架，里面有名字和这个人所居住的国家的列表。示例数据帧如下所示：我有一段代码，它接收此数据帧并将国家/地区划分为单独的列。data = data.unstack(level=-1).fillna(0)最终输出如下所示：我试图通过使用以下代码传递我的dataframe (df)来并行化上面的进程mp.Pool(mp.cpu_count()) result.ap

浏览 0提问于2020-08-09得票数 0

6回答

在Python语言中并行处理大型.csv文件

python

我正在使用Python脚本处理大型CSV文件(大约几GB，10M行)。在我的脚本中，每一行都由一个函数单独处理。分析一个文件大约需要20分钟，看起来磁盘访问速度不是问题，而是处理/函数调用。for row in csvReader: handleRow(ro

浏览 0提问于2011-12-08得票数 22

回答已采纳

2回答

gnu并行与多处理

python、multiprocessing、tesseract、gnu-parallel

multiprocessing模块和GNU并行有什么区别？另外，如果使用不同，哪种情况下是最理想的。而且，我无法从gnu并行中获得所需的结果，我可以看到4个进程在top中运行，但它们比python花费的时间要长得多。1)用于gnu-<

浏览 4提问于2019-09-18得票数 2

1回答

Shell + Python文件读写问题的并行化

python、bash、parallel-processing

我有一个项目，在这个项目中，我必须定期使用shell脚本对文件进行一些预处理。它必须按照项目要求和遗留原因这样做--我继承了这段代码的大部分。处理完这些文件后，输出文件将由Python脚本进一步处理。有没有什么好的方法可以并行运行呢？现在，这是我的工作流程的样子。Once finished, call Python script, processing even more files.如果可以并行化一组(一个文件shell --> Py

浏览 18提问于2020-04-23得票数 0

1回答

扭矩PBS与Python多处理

python、pbs、python-multiprocessing、torque

我有一个Python脚本，它在一个有512个CPU和4TB内存的服务器上运行。该脚本使用Python的Multiprocessing模块通过派生30个并行子进程来进行并行处理。然后脚本将使用多处理模块进行并行化。2.将脚本改为串行处理，然后使用PBS提交30个具有不同并行化参数的作业。有人能给我一些关于不同方法的利弊的线索吗？谢谢。

浏览 1提问于2015-02-19得票数 1

2回答

在Kubernetes上准备好Python应用程序

python、django、flask、kubernetes、uwsgi

众所周知，由于GIL，python实际上不支持系统线程，而且一次只能提供一个请求，但是如果一个请求CPU太重，它将无法处理进一步的请求。这会导致健康API有时无法工作。我们已观察到，如果现时有一项并非IO的单一要求，并进行一些操作，我们便会持有CPU，而不能并行处理另一项要求。而且，由于它只执行较少的操作，我们观察到CPU利用率也没有增加。这对HorizontalPodAutoscaler的工作方式产生了影响，它无法对豆荚进行缩放。

浏览 3提问于2019-10-24得票数 5

2回答

python中的多进程，多进程运行相同的指令

python、multiprocessing、python-multiprocessing

我在Python中使用多进程进行并行化。我正在尝试使用pandas对从excel文件中读取的数据块进行并行处理。import time;from multiprocessing import Processprint os.getpidprocesses.appe

浏览 0提问于2016-04-30得票数 1

1回答

Python:并行化GPU和CPU工作

python、multithreading、concurrency、parallel-processing、tensorflow

为我的ML模型处理批处理花费了太多的时间，所以我正在考虑并行化它们。计划如下:一个单一的数据结构将存储一组数据点。每一步训练算法都采用随机子集对模型进行训练(用TensorFlow在GPU上进行

浏览 4提问于2016-07-05得票数 2

回答已采纳

1回答

Laravel应用程序不并行处理请求

php、ajax、http、laravel、laravel-artisan

我很难弄明白为什么我不能并行处理请求。为了说明我的问题，下面是通过一个例子对我的系统/问题进行的高层概述：问题是我的AJAX请求不是并行处理的。第一个是接收到的，而web应用程序在第一个完成之前不会开始另一个应用程序。我已经在Chrome工具<em

浏览 2提问于2016-03-13得票数 1

点击加载更多

PyOpenCL vs Python多处理？