如果不返回错误，ProcessPoolExecutor的并行处理将无法正常工作。
ProcessPoolExecutor是Python标准库concurrent.futures中的一个类，用于实现进程池的并行处理。它可以方便地创建多个子进程来执行任务，并且可以通过返回Future对象来获取任务的执行结果。
在并行处理中，如果不返回错误，即任务没有返回异常或错误信息，ProcessPoolExecutor的并行处理将无法正常工作。这是因为ProcessPoolExecutor在执行任务时，会将任务分配给不同的子进程进行处理，每个子进程都是独立的，它们之间没有共享的内存空间。因此，如果某个任务发生错误但没有返回错误信息，主进程无法感知到这个错误，也无法进行相应的处理。
返回错误是一种重要的机制，它可以帮助我们及时发现并处理任务执行过程中的异常情况。在使用ProcessPoolExecutor时，我们可以通过捕获任务执行过程中的异常，并将异常信息返回给主进程，从而及时发现并处理错误。
对于ProcessPoolExecutor的并行处理，可以应用于各种场景，特别是对于一些耗时的任务或需要大量计算的任务，通过并行处理可以提高程序的执行效率和性能。
腾讯云提供了一系列与云计算相关的产品，其中包括云服务器、云数据库、云存储、人工智能等。具体推荐的产品和产品介绍链接地址如下：
- 云服务器（CVM）：提供弹性计算能力，可根据业务需求灵活调整配置。了解更多：https://cloud.tencent.com/product/cvm
- 云数据库MySQL版（CDB）：提供高可用、可扩展的数据库服务，支持自动备份和容灾。了解更多：https://cloud.tencent.com/product/cdb_mysql
- 云对象存储（COS）：提供安全可靠的对象存储服务，适用于图片、音视频、文档等大规模数据存储。了解更多：https://cloud.tencent.com/product/cos
- 人工智能平台（AI Lab）：提供丰富的人工智能算法和模型，支持图像识别、语音识别、自然语言处理等应用场景。了解更多：https://cloud.tencent.com/product/ailab
以上是腾讯云提供的一些相关产品，可以根据具体需求选择适合的产品来支持云计算和并行处理的应用。
相关·内容
目前，我正在尝试加速我的模拟。我已经用线程试过了，它起作用了。现在我想尝试使用并行进程来比较这两种方法。这是我使用futures.ProcessPoolExecutor的原因。当我开始我的脚本时，模拟时间被打印出来(它非常低)，但是我的程序不能正常工作。正常情况下，它应该生成几个文件，但它们并没有生成。此外，没有错误消息。下面是我的代码： def main(setting):
cfg_pat
浏览 31提问于2019-01-23得票数 1
回答已采纳
2回答
我有一个熊猫数据，它包括大约100万行，它包含用户输入的信息。我编写了一个函数来验证用户输入的数字是否正确。我想要做的是，在多个处理器上执行这个函数，以克服在单个处理器上进行大量计算的问题。我所做的是将数据块分割成多个块，其中每个块包含50K行，然后使用python多处理器模块分别对每个块执行处理。问题是，只有第一个进程正在启动，并且它仍然使用一个处理器，而不是在所有处理器上分配负
浏览 2提问于2022-02-07得票数 0
1回答
最终，当arrayDict的内部numpy数组变得太小时，我希望能够交换它。这种情况不经常发生，如果没有更好的解决方案，我可以在程序的非并行部分执行这个操作。即使没有数组交换，我自己的尝试也没有成功。
我花了几天时间研究共享内存和python的模块。由于我最终将在linux上工作，任务似乎相当简单:系统调用fork()允许高效地处理参数的副本。然后，我的想法是在自己的过程中更改每个
浏览 3提问于2016-12-15得票数 11
回答已采纳
我想对我的脚本进行基准测试，并比较使用线程和进程之间的差异，但是我发现我甚至无法运行它，因为在使用ProcessPoolExecutor时，我不能使用全局变量。下面的代码将像我所期望的那样输出Hello，但是当您更改ThreadPoolExecutor for ProcessPoolExecutor时，它将输出None。在我的实际程序中，init用于将全局变量设置为CLI参数，其中有很多。因此，似乎不推荐将它们作为参
浏览 1提问于2018-06-15得票数 6
回答已采纳
1回答
处理多处理池中的工人死亡
、、、、
启动了一个新的工作进程，但服务器的输出是：47292worker timed out池仍然试图向旧的辅助进程发送请求我已经做了一些工作，在服务器和工作人员捕捉信号，我可以得到稍微好一点的行为，但服务器似乎仍然在等待死亡的孩子关闭(即。在工人被杀后，pool.join()永远不会结束。处理垂死工人的正确方法是什么？
只有当所有
浏览 0提问于2017-08-01得票数 8
回答已采纳
我是新手，有一项可以从并行化中受益的任务；但我似乎无法确切地了解如何为线程设置函数和进程的函数。如果有人能在这件事上提供帮助，我将不胜感激。
我正在运行一个。这使得这种适应度计算成为并行化的主要候选。事实上，我可以做map(lambda p: p.getFitness(args), listOfParticles)。的副作用存储在每个粒子中，所以我不必担心从futures.ProcessPoolExecutor()获得返回</
浏览 7提问于2013-11-15得票数 18
回答已采纳
它们使HTTP POST到达我们配置的位置。我们的问题是这样的：
这是目前我的脚本的删减版本。抱歉，3.4语法，我们有一些老机器在现场。web.Application()
app.router.add_post('/', handle_
浏览 0提问于2017-06-12得票数 2
1回答
我正在对大量文件执行一些重复的任务，因此我希望并行运行这些任务。def function(file):import concurrent.futures as Cfut
因为每一项任务都
浏览 2提问于2018-07-18得票数 0
为了加快计算速度，我希望将点阵的点细分为不同的子列表，并通过一个ProcessPoolExecutor对单个进程执行计算。但是，如果我将列表传递给ProcessPoolExecutor，则该列表似乎被复制，并且没有传递引用。我将点列表拆分为多个子列表，并对它们进行迭代并执行计算。我知道分裂在这里是无用的，但我想保持它类似于并行版本，这样我就可以更好地处理错误。我假设将对象列表传递给
浏览 4提问于2021-10-19得票数 0
回答已采纳
当使用超过63个核心的python的multiprocessing.pool.Pool时，我得到一个ValueError这个计划似乎运行得很好，其结果与我所期望的一模一样我能忽略ValueError吗
背景:我在googled上搜索了这个问题，这似乎与Windows (_winapi.WaitFor
浏览 30提问于2020-12-11得票数 1
2回答
下面是我的问题的一个最小的例子：from functools import partial
class obj:':obj(4), 'f':obj(6),现在，我想多处理字典中的所有对象但是它不“工作”，因为我
浏览 8提问于2020-11-17得票数 5
回答已采纳
我试图使用ProcessPoolExecutor方法，但它失败了。下面是一个失败使用的示例(两个数字的大除数的计算)。我不明白这是什么错误 a, b = pair for i in range(low, 0, -1):2265973), (2030677, 3814172),start = time()
pool =
浏览 1提问于2019-12-01得票数 3
使用concurrent.futures.ProcessPoolExecutor，我尝试运行第一段代码来执行函数"Calculate_外汇_数据_导数(数据，网格_当调用结果时，executor_列表我我尝试运行代码，将函数的多个调用发送到处理池，以及只将一个调用发送到处理池，两者都会导致错误。我还用一段更简单的代码(提供的第二个代码)测试了代码的结构，并为call函数提供了相同类型的输入，它工作<
浏览 1035提问于2019-07-15得票数 6
我正在使用ProcessPoolExecutor执行外部命令，在进程完成后是否有任何方法捕获stderr (类似于子进程)？我捕获executor.submit()未来的结果，但返回0或1。
浏览 4提问于2020-04-02得票数 1
我正在尝试使用concurrent.futures实现一些并行作业。每个工作人员都需要一个TensorFlow模型的副本和一些数据。work代表了一种可能的工作。worker并行分配work。
这是不起作用的，它只是卡住了，不产生任何输出。但是，如果我将ProcessPoolExecutor替换为ThreadPoolExecutor，则上述代码可以工作。但没有提供任何加速(可能是它
浏览 2提问于2021-02-03得票数 1
回答已采纳
我试图使我的代码并行，我遇到了一件奇怪的事情，我无法解释。
让我来定义一下上下文。我有一个非常繁重的计算，阅读多个文件，对它进行机器学习分析，涉及很多数学。我的代码在Windows和Linux上正常运行，但当我尝试使用多处理时，一切都中断了。Linux上的行为也是一样的。但是，我注意到，如果我在Linux上应用这个方法，并查看'htop'，我看到的是一组随机选择
浏览 1提问于2018-11-02得票数 2
回答已采纳
我有一个从$http.get返回的对象数组，我需要对这些对象执行三个不同的自动发布进程。我相信我可以使用$q.all并行执行post进程。$timeout和setTimeout函数已经是异步的，因此doSomethingAsync只是通过返回promise...no的实际工作内联完成。, val);我看过的每个示例都使用异步进程( $timeout或setTimeout)来模拟正在完成的工作</em
浏览 3提问于2014-09-08得票数 1
回答已采纳
1回答
我很难在python中使用多处理，尽管我没有在任何平台上使用过多处理，也不清楚队列在多进程通信中是如何工作的。(如果有人能提供一个简单的参考，那将是很大的帮助)。出现问题： def __init__(self):
self.bla_exec = ProcessPoolExec
浏览 3提问于2020-10-28得票数 0
回答已采纳
1回答
我有我的函数handleRes，他是await的主管。我怎么能做这样的事 const handleRes = res => { .then(({ data }) => {
浏览 0提问于2019-08-06得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
