multiprocessing.Pool:何时使用apply、apply_async或map？
我还没有看到Pool.apply，Pool.apply_async和Pool.map的用例的明确例子。我主要用的是Pool.map，其他的有什么优点？
回答 3
Stack Overflow用户
发布于 2011-12-16 19:36:50
回到Python的旧时代，要使用任意参数调用函数，可以使用apply
apply(f,args,kwargs)虽然不是在Python3中，但是apply仍然存在于Python2.7中，并且通常不再被使用。如今，
f(*args,**kwargs)是首选的。multiprocessing.Pool模块尝试提供类似的接口。
除了函数调用是在一个单独的进程中执行之外，Pool.apply类似于Python apply。在函数完成之前，Pool.apply会一直阻塞。
Pool.apply_async也类似于Python的内置apply，只是调用会立即返回，而不是等待结果。返回一个AsyncResult对象。调用它的get()方法来检索函数调用的结果。get()方法会一直阻塞，直到函数完成为止。因此，pool.apply(func, args, kwargs)等同于pool.apply_async(func, args, kwargs).get()。
与Pool.apply不同，Pool.apply_async方法还有一个回调，如果提供了该回调，则在函数完成时调用该回调。这可以用来代替调用get()。
例如：
import multiprocessing as mp
import time
def foo_pool(x):
time.sleep(2)
return x*x
result_list = []
def log_result(result):
# This is called whenever foo_pool(i) returns a result.
# result_list is modified only by the main process, not the pool workers.
result_list.append(result)
def apply_async_with_callback():
pool = mp.Pool()
for i in range(10):
pool.apply_async(foo_pool, args = (i, ), callback = log_result)
pool.close()
pool.join()
print(result_list)
if __name__ == '__main__':
apply_async_with_callback()可能会产生如下结果
[1, 0, 4, 9, 25, 16, 49, 36, 81, 64]请注意，与pool.map不同，结果的顺序可能与pool.apply_async调用的顺序不一致。
因此，如果您需要在单独的进程中运行一个函数，但又希望当前进程在该函数返回之前使用阻塞，那么可以使用Pool.apply。与Pool.apply一样，Pool.map也会一直阻塞，直到返回完整的结果。
如果希望工作进程池异步执行许多函数调用，请使用Pool.apply_async。不能保证结果的顺序与调用Pool.apply_async的顺序相同。
还要注意，您可以使用Pool.apply_async调用许多不同的函数(并不是所有的调用都需要使用相同的函数)。
相反，Pool.map将相同的函数应用于许多参数。但是，与Pool.apply_async不同的是，返回结果的顺序与参数的顺序相对应。
Stack Overflow用户
发布于 2020-01-09 20:19:51
以下是表格格式的概述，以显示Pool.apply、Pool.apply_async、Pool.map和Pool.map_async之间的差异。在选择一个时，您必须考虑多参数、并发、阻塞和排序：
| Multi-args Concurrence Blocking Ordered-results
---------------------------------------------------------------------
Pool.map | no yes yes yes
Pool.map_async | no yes no yes
Pool.apply | yes no yes no
Pool.apply_async | yes yes no no
Pool.starmap | yes yes yes yes
Pool.starmap_async| yes yes no no备注：
Pool.imap和map_async.Pool.starmap方法的延迟版本，除了接受多个arguments.Async方法一次提交所有过程并在完成后检索结果之外，它与Pool.imap_async方法非常相似。使用get方法获得的应用(Pool.apply)方法非常类似于Python内置的map(或results.Pool.map(or )。它们阻塞主进程，直到所有进程完成并返回结果。
示例：
地图
一次调用一个作业列表。
results = pool.map(func, [1, 2, 3])应用
只能为一个作业调用
for x, y in [[1, 1], [2, 2]]:
results.append(pool.apply(func, (x, y)))
def collect_result(result):
results.append(result)map_async
一次调用一个作业列表。
pool.map_async(func, jobs, callback=collect_result)apply_async
只能为一个作业调用，并在后台并行执行作业
for x, y in [[1, 1], [2, 2]]:
pool.apply_async(worker, (x, y), callback=collect_result)星图
是支持多个参数的pool.map的变体
pool.starmap(func, [(1, 1), (2, 1), (3, 1)])starmap_async
starmap()和map_async()的组合，它遍历可迭代的可迭代对象，并在可迭代对象未打包的情况下调用函数。返回一个结果对象。
pool.starmap_async(calculate_worker, [(1, 1), (2, 1), (3, 1)], callback=collect_result)参考资料：
在此处可以找到完整的文档：https://docs.python.org/3/library/multiprocessing.html
Stack Overflow用户
发布于 2014-03-19 00:35:19
关于apply与map
pool.apply(f, args)：f仅在池的一个工作进程中执行。因此，池中的一个进程将运行f(args)。
pool.map(f, iterable)：此方法将可迭代对象分成多个块，并将这些块作为单独的任务提交给进程池。因此，您可以利用池中的所有进程。
https://stackoverflow.com/questions/8533318
复制相似问题
腾讯云开发者
