Python线程-动态更改并行线程的数量

文章/答案/技术大牛

发布

1回答

python、python-3.x、multithreading、python-multithreading、concurrent.futures

我正在尝试使用concurrent.futures.ThreadPoolExecutor并行运行几个作业。它允许我在初始化时设置一次max_workers。但出于某些原因，我的要求是动态更改活动线程的数量。我找不到任何方法来做到这一点。尝试动态重置"_max_workers“，但没有任何影响。 else: print('Page is %d bytes' %

浏览 43提问于2019-10-25得票数 1

1回答

动态更改pthread中的线程数

multithreading、dynamic、parallel-processing、pthreads

由于并行程序在不同的代码块上可能需要不同级别的并行性(例如，线程数量)，是否有一种方法可以动态更改pthread中的线程数量，以便在程序执行期间始终保持最佳并行度？我们可能会让不必要的线程进入睡眠状态，但这样做会增加问题。首先，需要改变障碍以同步不同数量的线程。其次，一些并行程序在初始化期间将

浏览 7提问于2014-01-29得票数 0

1回答

如何在网站管家动态设置作业数

python、waf

我正在使用自动化我的项目的构建过程。第二种并行化发生在Waf执行的一些脚本中，这些脚本不能被重写以使用Waf的并行化。为了保持使用的线程数量稳定，我必须中断构建过程并更改作业切换。有没有一种方法可以动态地做到这一点，这

浏览 3提问于2018-03-08得票数 1

1回答

通过增加Spring批处理中的步骤池大小来更改运行步骤的数目

java、spring、multithreading、spring-batch

这是一个关于在运行时更改线程池大小如何影响春季批处理运行时系统的复合问题。要清楚地了解我是如何使用弹簧批处理的。目前，我有大量正在生成的文件(200+)，我正在使用Spring将每个步骤映射到1个文件的文件进行传输。有关作业的一切都是动态的，就像步骤的数量一样

浏览 6提问于2022-06-09得票数 1

回答已采纳

1回答

在客户机/服务器架构中使用这些多线程模型的优缺点是什么？

multithreading、server、client-server、client

在我的并行编程类中，老师提到了三个模型:动态线程创建(根据需要创建线程)、线程池(创建固定数量的线程)和混合或混合模型(首先创建多个线程，但如果需求增加太多，则可以创建更多的线程，然后在需求恢复正常时返回到以前的线程数量

浏览 0提问于2016-06-25得票数 2

回答已采纳

1回答

使用openmp时运行的线程数不一致

c、multithreading、openmp、multicore

我有一个带有openmp的c程序，并行for.The机器有24个内核。每个并行任务访问mmap文件中的不同位置，并进行一些计算。我没有设置任何特定的线程数。我让openmp来决定。当我查看htop时，我发现一次运行的线程数量有很大的不一致。有时，所有24个核心都被100%使用，整个任务很快就完成了，但在其他时候，htop显示只有2-3个线程(与除我的程序之外的所有

浏览 1提问于2015-02-02得票数 0

4回答

OpenMP set_num_threads()不工作

c++、multithreading、numbers、set、openmp

我正在用C++编写一个使用OpenMP的并行程序。 return 0;程序输出：threads=1 如何控制线程的数量

浏览 0提问于2012-06-19得票数 37

回答已采纳

1回答

销毁Openmp中的线程(C++)

c++、multithreading、openmp、dynamic-library

是否有可能破坏OpenMP创建的线程？当程序启动时，只有一个线程。在并行化部分之后，多个线程保持不变，因为有一个线程池。运行平行部分后，有什么方法破坏这个池吗？我之所以这样问是因为我在动态库中使用OpenMP，并且在线程运行时不能关闭库句柄(程序将分割错误)。更多解释：--我正在将所有并行化代码放入模块(共享库)中。然后加载该模块，并将从抽象基类派生的类传递给它。然后，模块将并行地运行该类。

浏览 4提问于2011-03-04得票数 2

回答已采纳

3回答

当有空闲线程时，可以修复线程数并分派任务吗？

multithreading、parallel-processing、openmp

我想使用OpenMP来达到这样的效果:修复线程数，如果有空闲线程，将任务分派到其中，否则等待空闲线程。以下是我的测试代码：#include <stdio.h> #pragma omp{ func();

浏览 7提问于2017-05-25得票数 0

回答已采纳

2回答

openmp创建随机数量的线程

multithreading、gcc、openmp

我有一个计算点积的程序，是用-fopenmp的gcc编译的。问题是，它没有创建我告诉它创建的线程数量。在一台计算机上，它会不断地产生2个线程，在另一台4上。这两个数字都不是给它们的数字。我使用(static，chunksize)调度，这是一种间接的方式，可以通过改变chunksize来选择我想要创建的线程数量。我感觉运行时中有什么东西覆盖了我的指令，因为所有的计算

浏览 1提问于2012-06-07得票数 0

回答已采纳

1回答

python重用线程对象

python、multithreading

是否可以重用python线程对象来避免不必要的线程创建？在以下情况下，它可能会很有用。有许多任务必须使用线程池进行并行化，线程池的大小远远小于任务的数量。我知道有multiprocessing.Pool，但使用线程而不是进程是非常重要的。

浏览 1提问于2014-12-24得票数 1

1回答

动态并行与全局内存同步

cuda

如果我启动内核并考虑，例如，块0中的线程0，在调用__syncthreads()之后，所有其他块中的所有其他线程都会看到块0中的线程0对全局内存所做的更改吗？ void __syncthreads();等待直到线程块中的所有线程都达到这一点，并且这些线程在__syncthreads()之前进行<em

浏览 0提问于2013-11-02得票数 2

回答已采纳

2回答

Parallel.For未使用所有内核

c#、task-parallel-library、math.net、mathnet-numerics、parallel.for

我在Parallel.For块中并行使用Math.Net Numerics进行繁重的数学计算。我试过设置MaxDegreeOfParallism，但无能为力。你知道为什么所有的核心都没有被利用吗？

浏览 1提问于2015-08-25得票数 9

2回答

由semaphore.h提供的sem_init、sem_post、sem_wait在python中的等价物是什么？

python、semaphore

我试图在我拥有的一段python代码中锁定多个变量，每个变量一个锁。使用semaphore.h中提供的sem_wait、sem_post、sem_init例程，可以很容易地在C中锁定变量。python中的等价物是什么？附录：lock1 = threading.lock()lock1.acquire() var1 = func1

浏览 0提问于2016-01-12得票数 2

1回答

为什么上下文切换很慢？

asynchronous、parallel-processing

我想知道为什么上下文切换比同一线程上的异步操作慢。为什么运行N个线程(其中N等于内核的数量)，每个线程同步处理M个客户端，而不是运行M个线程？

浏览 2提问于2013-01-18得票数 1

回答已采纳

2回答

Java / join Pool :正确的假设是叉连接池中的线程数完全取决于CPU的底层数量吗？

java、multithreading、fork-join

开发人员能告诉叉/连接池创建一定数量的线程吗？如果是的话，那么是否可以保证这么多的线程将由池创建？

浏览 0提问于2018-03-16得票数 0

回答已采纳

1回答

为什么pyspark脚本的性能没有随着内核和执行器数量的增加而提高？

performance、apache-spark、pyspark

我有一个脚本，通过加载一个预先训练好的模型来进行二进制分类。我想知道为什么当我尝试不同的数量执行器和执行器核心的组合时，我总是得到大致相同的性能。以下是我的pyspark脚本中的重要代码行： start = time.time() # aug_comb_mldf = dfml_partial.selectmaster yarn myapp.py --num-executors 16 --executor-core

浏览 12提问于2020-12-09得票数 0

1回答

计算OpenMP中每个线程的循环的最后一个索引

c、openmp

} 如何在不显式指定要使用的线程数的情况下计算每个线程的最后一个索引。

浏览 14提问于2020-02-25得票数 1

1回答

JMeter:基于泊松计时器的新启动

jmeter

对于JMeter来说非常新，我需要基于泊松计时器启动一个新线程(Usercall)。我想出了如何创建泊松计时器，但不知道如何基于泊松计时器启动新线程。当我在一个虚拟取样器中添加泊松计时器时，在线程组开始时，它仍然并行地执行踏板。目标是通过操纵泊松计时器来控制线程的数量。它将启动一个线程，然后在系统上执行业务用例。下一个线程应该在0到7秒之间再次启动，并与第一个线程并行运行。在线程

浏览 3提问于2022-03-24得票数 0

回答已采纳

1回答