Mac上的Python Multiprocessing Pool.map()以串行而不是并行的方式运行进程
在Mac上使用Python Multiprocessing库的Pool.map()函数时，默认情况下会以串行的方式而不是并行的方式运行进程。这是因为Mac上的Python解释器使用了名为"fork"的机制来创建子进程，而"fork"机制在Mac上会导致Pool.map()函数以串行方式运行。
在"fork"机制中，创建子进程时会复制父进程的所有资源，包括代码、数据和运行状态。这意味着子进程会继承父进程的所有资源，包括父进程中的所有线程和锁。由于Python解释器使用全局锁（GIL）来确保在同一时间只有一个线程执行Python字节码，所以无法同时在多个子进程中执行Python代码。
要实现并行运行进程，可以考虑以下两种方法：
- 使用"spawn"或"forkserver"启动方法：这些启动方法可以在Mac上创建具有独立Python解释器的子进程，从而避免了GIL的限制。可以通过设置multiprocessing.set_start_method('spawn')或multiprocessing.set_start_method('forkserver')来使用这些启动方法。
- 使用其他库：除了Python Multiprocessing库，还有其他第三方库可以实现并行处理，例如concurrent.futures和joblib。这些库提供了更高级别的接口，可以更轻松地实现并行计算。
总结起来，Mac上的Python Multiprocessing Pool.map()函数默认以串行方式运行进程。要实现并行运行，可以尝试使用"spawn"或"forkserver"启动方法，或者考虑使用其他库来实现并行计算。
相关·内容
我一直在编写一个脚本来排序和过滤大型数据集，并将工作分配到多个CPU核心(通过使用多个进程)。然而，Python似乎每次启动一个进程，串行运行它们，而不是并行运行它们。我已经剥离了代码，所以它基本上没有做任何有用的事情(它生成一个随机数列表并简单地将它们全部删除)，问题仍然存在。这是Mac上的Python的问题
浏览 27提问于2019-05-23得票数 1
回答已采纳
1回答
在我的程序中，我正在向服务器发出请求。我希望这些请求并行运行，以便更快地下载数据，因此我使用了多处理。一开始这个程序可以工作，但后来我想把整个项目变成一个函数。我在多进程中隔离了这个问题，并意识到函数在没有它的情况下也可以工作。 我试着删除多进程，这个函数工作得很好。当我再次尝试多处理时，函数失败了。我想让多进程在函数中并行运行我的函数，而不是让函数串行运
浏览 12提问于2019-06-06得票数 0
2回答
我正在运行一些Python程序，我注意到瓶颈在行中，执行以下操作我想知道的是--怎样才能把它变成并行计算呢？所以问题是
编辑。添加更多上下文。我不知道您在寻找什么样的上下文，但在我的场景中，s是一个图，foo(s)计算一些图的理论不变量(例如平均距离或类似的东西)。
浏览 5提问于2015-04-14得票数 1
回答已采纳
1回答
我用Python编写了一个机器学习应用程序。我正在使用Python语言中的multiprocessing模块来并行化一些工作(特别是特征计算)。现在，multiprocessing在Unix变种和Windows操作系统上的工作方式有所不同。Unix (mac/linux):分叉/分叉服务器/衍生
由于在Windows上使用的是s
浏览 2提问于2018-07-06得票数 1
1回答
我正在尝试用python并行化一些代码。串行运行我的代码大约需要24小时，然而，有一个for循环，其中每次迭代都独立于前一次迭代，所以这是并行化的理想情况。下面是我试图用代码实现的一个简单示例，from multiprocessing import Pool
for x in1) return output
i
浏览 0提问于2013-11-25得票数 0
我尝试在python中使用multiprocessing并行读取Google Cloud Storage中的数据，但我一直收到以下SSL错误：下面是我的最小示例：
client_storage = storage.Client.from_service_a
浏览 1提问于2019-02-12得票数 0
我正在考虑在我的一个脚本中添加多处理以提高性能。仅仅运行终端上克隆的四个相同的脚本与实际将多进程添加到python代码中有什么问题吗？*四个核心： script.py & script.py;
我读过linux/unix自动将程序划分到可用内核之间的文章。对不起，如果我上面提到的事情是完全错
浏览 4提问于2013-09-03得票数 4
回答已采纳
1回答
我有一个api_urls的列表对于这些URL中的每一个，我必须遍历分页以获得所有数据： next_page = response["next_page"]
从我所有的api_urls中获取数据的最快方法是什么
浏览 4提问于2022-01-23得票数 1
2回答
我有一个简单的main()函数，它处理大量数据。因为我有一台8核机器，有很多内存，所以我建议使用python的multiprocessing模块来加速处理。每个子进程大约需要18个小时才能完成。我以某种方式启动了以下不同的子进程： data = huge_amount_of_data().意味着只能启动7个子进程，而不是上面我喜欢的
浏览 8提问于2012-02-26得票数 5
2回答
我正在努力理解multiprocessing.Pool是如何工作的，我开发了一个很小的例子来说明我的问题。简单地说，我使用pool.map并行处理一个运行在数组上的CPU绑定函数，方法是遵循示例。首先，以串行方式运行的函数： return np.sum(map(count_even_numbers,arr
浏览 8提问于2016-03-16得票数 0
回答已采纳
刚开始使用我的代码库中的multiprocessing库来并行一个简单的for循环，以前，在一个串行for循环中，我会导入一个自定义配置.py文件，并将它传递给要运行的函数。注意：有多个自定义configuration.py，我想传递给不同的进程。python2.7/multiprocessing/pool.py", line 251, in map
浏览 0提问于2018-04-25得票数 1
回答已采纳
1回答
如何以串行方式和并行方式创建进程执行？例如，我希望每个进程执行以下python函数： time.sleep(random.randint(0,9))for process inprocess_list:在串行传真中只有两个进程的情况下，我希望程序的输
浏览 0提问于2018-02-02得票数 0
sum_list([counter(i) for i in items])print('for loop {}s'.format(time.time() - start))36多处理
可以把多处理方式看作是实现并行计算的一种方式吗？))
浏览 1提问于2019-09-06得票数 3
回答已采纳
import multiprocessing link = 'http://APILink/' print response
number_processes = 2
浏览 0提问于2017-04-06得票数 0
我按照这个演示了如何将多个映射实例作为进程运行。但是，在python3.4.3/Windows7 x64上，任何时候都使用单个内核。from multiprocessing import Poolimport random start_time = time.time
浏览 1提问于2015-10-14得票数 2
回答已采纳
1回答
我试图使用multiprocessing包并行调用一个函数(让我们称之为myfunc)，特别是使用pool.map即pool.map(myfunc, myarglist)。如果我只是在myarglist上循环而不使用multiprocessing，就不会出现错误，因为myfunc中的所有操作都是在try块中调用的。但是，当我使用pool.map调用函数时，脚本总是停止运行，即停止打印"my
浏览 3提问于2014-07-02得票数 4
2回答
我以以下方式并行运行代码：
在主进程终止之前，所有这些进程都不会被终止，从而导致内存泄漏。如果我以以下方式对multiprocessing</em
浏览 3提问于2021-05-11得票数 8
回答已采纳
我试图运行一个非常简单的多处理代码，但代码仍然是串行处理的。我曾尝试在Mac(Linux10.13)和macOS(Ubuntu18.04)上使用Python2和Python3运行它，但在这两个环境中我都遇到了同样的问题。函数_process必须接收numpy数组作为参数，所以我决定使用Multiprocess.Process而不是Multiprocess.Pool.map()和Mu
浏览 47提问于2019-09-11得票数 0
回答已采纳
我想在多个进程中运行myfile.py，而不是从命令行执行它，比如python myfile.py。因此，我创建了以下代码：from multiprocessingpool = Pool(processes=3)
<
浏览 2提问于2021-02-15得票数 0
回答已采纳
2回答
问题是，要花太长时间(根据cProfiler的说法，113个秒)才能完成re.compile()。(顺便说一句，编译之后，实际上使用所有这些regexes < 1.3秒进行搜索。)：
加上启动和停止进程的开销，4个处理器上的multiprocessing比串行慢25%。我还尝试将regexes列表划分为4个子列表，并
浏览 9提问于2013-08-15得票数 6
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
