python中concurrent.futures ThreadPoolExecutor的问题

concurrent.futures是Python标准库中的一个模块，其中包含了ThreadPoolExecutor类，用于实现线程池的功能。ThreadPoolExecutor可以帮助开发者在Python中更方便地进行多线程编程。

ThreadPoolExecutor的主要作用是管理和调度线程池中的线程，以便并发地执行多个任务。它提供了一种简单的方式来创建和管理线程，从而充分利用多核处理器的优势，提高程序的执行效率。

ThreadPoolExecutor的优势包括：

提供了高层次的接口，简化了多线程编程的复杂性。
可以根据需要自动创建和回收线程，避免了频繁创建和销毁线程的开销。
可以限制线程的数量，避免线程过多导致系统资源耗尽。
支持提交任务并获取任务结果的接口，方便管理和监控任务的执行情况。

ThreadPoolExecutor适用于需要并发执行多个任务的场景，特别是那些涉及到网络通信、IO操作或者需要大量计算的任务。它可以帮助提高程序的响应速度和并发能力。

在腾讯云的产品中，推荐使用Serverless Cloud Function（SCF）来实现类似的功能。SCF是一种无服务器计算服务，可以帮助开发者在云端运行代码，无需关心服务器的管理和维护。通过SCF，可以轻松实现并发执行任务的需求，并且可以根据实际需要进行弹性扩缩容。

更多关于腾讯云Serverless Cloud Function的信息，请参考以下链接： https://cloud.tencent.com/product/scf

如何解决多线程python的自旋锁问题？

python、multithreading、spinlock

我正在用Python编写一个多线程应用程序，遇到了一个内核时间飞涨的问题。使用perf，我发现它确实是一个自旋锁：导致自旋锁定的代码如下

浏览 4提问于2014-03-01得票数 0

2回答

当我导入` `from导入ThreadPoolExecutor`‘时，它给了我concurrent.futures。有人知道为什么吗？

python、python-3.x、multithreading

当我试图导入时，我得到了ImportError：错误： File "queue.py", line 4, in <module> from concurrent.futures import ThreadPoolExecutorfrom concurrent.futures import <em

浏览 0提问于2019-04-01得票数 0

回答已采纳

1回答

python中concurrent.futures ThreadPoolExecutor的问题

python、multithreading

我做了一个函数，给出一个带有不同图片的链接的列表，他们下载这些图片。为了加快这个过程，我使用了线程。这是我写的： with ThreadPoolExecutor() as executor: executor.map(self .__descargar_imagen__, self.links_paginas) 在这里，__descargar_imagen__是一个下载图像的函数，links_paginas是包含所有链接的列表。问题是，由于某些原因，使用该代码时

浏览 23提问于2020-10-08得票数 0

1回答

在python中发送http请求的最快方法

python、multithreading、multiprocessing、httprequest、python-asyncio

我正在制作一个名为“我的世界”的狙击机器人。我有一个令牌列表，minecrafts允许您在阻止每个令牌之前为每个令牌发送三个请求。对它的请求如下所示： requests.put(f'https://api.minecraftservices.com/minecraft/profile/name/{name}',rv:83.0) Gecko/20100101 Firefox/83.0", "Cont

浏览 38提问于2021-03-21得票数 1

2回答

创建可同时运行两个Python脚本的python脚本

python、python-3.x

我有两个要运行的python程序。我想做一个可以同时执行这两个脚本的python脚本。我该怎么做呢？

浏览 4提问于2018-11-21得票数 1

1回答

我想为python制作/拥有一个类似于“未来”的异步API

python、scala、asynchronous

我需要一些未来的时间来等待Python/Django中的其他人，我不得不使用来自网络和concurrent.futures的源代码(backport到2.7)黑出我自己的“诺言”类。这是我的代码(不是很漂亮，但完全符合我的需要)，我大部分的想法都是从博客上得到的(我现在找不到它的链接了……将于稍后更新)： def __

浏览 1提问于2013-12-19得票数 4

回答已采纳

1回答

如何在启动新线程前等待线程执行完成？

python、multithreading

我有一段python代码，由于GPU和计算的限制，我一次最多只能运行10个线程。我有100个要处理的文件夹，我想让每个线程处理一个文件夹。以下是我为实现此目的而编写的一些示例代码。running_threads.append(thread) thread.start() 在这段代码中，我检查活动线程的数量是否超过了我指定的线程限制，并且除非

浏览 15提问于2021-09-29得票数 0

回答已采纳

1回答

从多个线程编辑数据帧中的行

python、pandas、multithreading、dataframe

有人能解释一下如何从多个线程编辑数据文件中的行吗？去给你更多的背景吧：我有一个包含2000+行的dataframe。这个dataframe中的一个列包含一个id，我使用它来进行外部REST调用。然后将结果作为新列添加到dataframe (我在开始处理之前添加了该列，因为它是一个已知的修复metric类型)。这基本上意味着我需要检索行并调用2000+条目，这需要大量的时间，我希望通过使用多个线程来缩短时间。我的一个

浏览 4提问于2021-09-13得票数 1

2回答

我如何能够多处理一个单一的功能数千次？

python、opencv、multiprocessing

这个过程非常漫长，我正在考虑将多处理作为加速它的一种方法。理论上，我知道我可以做这样的事情(但对于数千张图片来说，这是不现实的)： return cv.matchTemplate(reference_image, image1, cv.TM

浏览 11提问于2022-03-22得票数 2

回答已采纳

2回答

AttributeError:当我在Python3.6中尝试并行处理时，模块'concurrent‘没有'futures’属性

python-3.x、parallel-processing、distributed-computing、python-multiprocessing、concurrent.futures

我正在尝试使用concurrent.futures模块将一个耗费很长时间的进程拆分到多个进程。，并从先前构建的列表中返回最大模糊分数。下面是我得到的错误： File "multiprocessing.py", line 8, in <module> File "/home/naveen

浏览 20提问于2018-12-06得票数 8

1回答

未定义ThreadPoolExecutor [python3]

python、multithreading、python-3.x、python-3.4

我正在尝试运行以下代码，它是直接从文档中复制的：：import concurrent.futures a = executor.submit(wait_on_b)Traceback (most recent call last): File "tes

浏览 1提问于2014-08-13得票数 2

回答已采纳

2回答

Python循环导致“错误：[Errno 105]没有可用的缓冲区空间”

python、multithreading

这就创建了300个线程，这是正确的。 File "/usr/local/lib/python2.7/dist-packages/scapy/supersocket.py", line 29, in send return self.outs.sendQ:，这是一个python限制，还是一个过程限制？

浏览 10提问于2015-07-31得票数 1

回答已采纳

1回答

多线程:如何在不同的线程中运行不同的函数？

python、python-3.x、multithreading、python-multithreading

如何在python中的不同线程中运行两个或三个不同的函数？ calc = x+y calc = x-y我如何能够在不同的线程中同时运行这三个函数

浏览 4提问于2020-03-19得票数 1

回答已采纳

1回答

Python子进程假脱机进程太多

python、postgresql、subprocess

希望有人能帮助我，我有一个挑战性的情况，我似乎不能脚本。我的目标是自动将SQL文件加载到PostgreSQL中。我不知道我有多少个SQL文件文件夹，所以我一开始就检查文件夹是否存在，然后遍历每个文件并使用psql.exe将其加载到PostgreSQL中。load2 = subprocess.Popen("psql -d data -U postgres -f sql2\%s" %files) 但是，这会假脱机许多子进程，因为它会为文件夹中的每个如果我将其更改为subp

浏览 0提问于2012-11-21得票数 0

回答已采纳

1回答

Python:运行具有负载平衡的多个exe

python、exe

我试图找出一次调用4 exe的方法，一旦其中一个调用完，就调用另一个exe来填充释放出来的资源 excs = [r"path\to\exe\exe.exe",r"path不幸的是，这意味着它需要等待它们全部完成，然后才能进入下一组。有没有更有效的方法来做到这一点？作为记录，所有的exe都有不同的运行时间。

浏览 2提问于2018-07-05得票数 1

回答已采纳

1回答

如何限制并行进程

python-3.x

目前所有进程都是并行启动的不幸的是，我不知道该怎么办。有人能帮我吗？我的脚本： import json, osfrom subprocess import Popen, PIPE list = open('list.txt', '

浏览 10提问于2020-04-29得票数 0

回答已采纳

1回答

如何同时下载多个文件，并为每个文件触发特定的操作？

python、multithreading、python-2.7

我需要一个我试图实现的功能的帮助，不幸的是，我对多线程不是很满意。我知道我应该做些什么来解决这个问题，但是我没有成功地编写代码。...handleFile(files_list[-1], typ

浏览 6提问于2018-09-07得票数 2

回答已采纳

1回答

Python多线程使用Pandas Dataframe执行线程

python、pandas、multithreading、dataframe、performance

是否有一种以特定顺序执行线程的方法？我很熟悉命令".wait()“和".notifyAll()"，但是当所有线程都针对单个函数时，它似乎不起作用。尽管多线程是一个很好的性能增强工具，但当订单重要时，它的失败就会发生。简单性示例:如果线程4完成了它的“dataframe”编译，它需要等待前3个线程编译其相应的dataframe并上传到csv文件，直到线程4可以上传为止。一如既往，提前谢谢！

浏览 3提问于2021-12-03得票数 0

1回答

在python中对线程进行批处理

python、multithreading

我正在更新一些现有的代码，如下所示： thread.start_new_thread(main, (i[0],i[1],i[2],2))(这里有很多关于python线程的讨论，如果我错过了已经被问到的这类问题，我很抱歉……)

浏览 4提问于2012-12-02得票数 4

1回答

如何使用几个selenium [python]实例

python、selenium、web-scraping

我正在使用selenium进行web抓取，但是它太慢了，所以我试图使用实例来加快它的速度。我想要完成的是：2)创建instance_2什么也不做保存第一次吸收的内容保存第二个实例的内容这样做的目的是利用加载第一个页面所需的时间打开第二个页面。driver_3 = webdriver.Firefox() drivers_instance = [driver_1,d

浏览 3提问于2016-03-17得票数 2

回答已采纳

点击加载更多