CPython 解释器本身就不是线程安全的，因此有全局解释器锁（GIL）， 一次只允许使用一个线程执行 Python 字节码。因此，一个 Python 进程 通常不能同时使用多个 CPU 核心
Python标准库为我们提供了threading和multiprocessing模块编写相应的多线程/多进程代码。
我们都知道，不管是Java，还是C++，还是Go，还是Python，都是有线程这个概念的。
最近写了涉及线程池及线程的 python 脚本，运行过程中发现一个有趣的现象，线程池中的工作线程出现问题，引发了异常，但是主线程没有捕获异常，还在发现 BUG 之前一度以为线程池代码正常返回。
随着程序复杂度和数据量的不断增加，传统的同步编程方式已经无法满足开发人员的需求。异步编程随之产生，能够提供更高的并发性能和更好的资源利用率。Python的concurrent.futures模块是一个很好的异步编程工具，它提供了一组接口，可以方便地进行并发编程。
现在这一篇还是 《流畅的python》读书笔记，译者在这里把future 翻译为“期物”，我觉得不太合适，既然future不能找到一个合适的词汇，暂时还是直接使用 future 吧。
concurrent.futures模块的主要特色是ThreadPoolExecutor和ProcessPoolExecutor类。
在前面的文章中我们已经介绍了很多关于python线程相关的知识点，比如 线程互斥锁Lock / 线程事件Event / 线程条件变量Condition 等等，而今天给大家讲解的是 线程池ThreadPoolExecutor，可能很多小伙伴会疑惑，threading 模块能创建线程，ThreadPoolExecutor 也能创建线程，两者都有什么区别呢？
所谓死锁：是指两个或两个以上的进程或线程在执行过程中，因争夺资源而造成的一种互相等待的现象 如下就是死锁：
但如果线程超过一定数量，这种方式将会变得很复杂且线程的开关开销线性递增。池化思想是一种工程上管理长期占用资源并使用提高其使用效率的常见思想，它的体现包括数据库连接池、线程池等等。池化思想非常直观，将要维护的资源保存在一个池子里，下一次请求到来时，如果池子里已经有可用资源，则直接返回可用资源；如果没有可用资源，则等待其他使用者使用完成后释放资源。
紧接着上一篇文章 python 线程池ThreadPoolExecutor（上） 我们继续对线程池深入一点了解，其实python中关于线程池，一共有两个模块：
1、ThreadPoolExecutor构造实例时，输入max_workers参数，设定线程池中最多可同时运行的线程数。
小编给读者们分享一下Python线程池模块ThreadPoolExecutor用法，文中结合实例形式分析了Python线程池模块ThreadPoolExecutor的导入与基本使用方法，对此感兴趣的小伙伴就随小编来了解一下吧。
并发编程是刚需，尤其是在多 I/O 操作时，多线程，协程，多进程三路英雄各显神通。多线程，协程属于并发操作，多进程属于并行操作，那么你是否清楚了什么是并发，什么是并行？
很多时候我们写了一个爬虫，实现了需求后会发现了很多值得改进的地方，其中很重要的一点就是爬取速度。本文就通过代码讲解如何使用多进程、多线程、协程来提升爬取速度。注意：我们不深入介绍理论和原理，一切都在代码中。
GIL这个话题至今也是个争议较多的，对于不用应用场景对线程的需求也就不同，说下我听过的优点： 1. 我没有用过其他语言的多线程，所以无法比较什么，但是对于I/O而言，Python的线程还是比较高效的。 2. 有些第三方基于Python的框架和库，比如Tensorflow等基于C/C plus plus重写的Python线程机制。 3. 至于换成Cython编译器解决GIL，这个只是听过，没用过。 4. Python多线程对于web、爬虫方面也可以表现出较好的性能。 5. Python多进程是完好的，可以把资源消耗较少的非必要线程工作转为多进程来工作。 6. 计算密集型就别想多线程了，一律多进程。 7. Python还有细粒度且高效的协程。 8. 如果有N核CPU，那么同时并行的进程数就是N，每个进程里面只有一个线程能抢到工作权限。 所以同一时刻最大的并行线程数=进程数=CPU的核数（这条我的个人理解很模糊，参考吧）
这篇文章主要介绍了Python定时器线程池原理详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
之前在家里的老电脑中，发现一个加密zip压缩包，由于时隔太久忘记密码了，依稀记得密码是6位字母加数字，网上下载了很多破解密码的软件都没有效果，于是想到自己用Python写一个暴力破解密码的脚本。
异步编程是一种不会阻塞的编程范式。相反，请求和函数调用会在未来某个时间以某种方式在后台发出和执行。这使调用者有时间执行其他活动，并在结果可用或调用者感兴趣时稍后处理发出的调用的结果。
Python实现多线程/多进程，大家常常会用到标准库中的threading和multiprocessing模块。
專 欄 ❈正小歪，Python 工程师，主要负责 Web 开发和日志数据处理。博客文章《真正的 Tornado 异步非阻塞》、《使用 JWT 让你的 RESTful API 更安全》等多次入选知名技术社区每日精选。《使用 Shipyard 搭建 Docker 集群》被选入 Dockerone 周报。 个人博客: https://www.hexiangyu.me GitHub: https://github.com/zhengxiaowai❈ 其中 Tornado 的定义是 Web 框架和异步网络库，其中他
今天的文章来自 盏茶作酒 同学。他在老电脑中发现了一个加密的 zip 文件，于是用 Python 破解了文件密码。在破解的过程中出现了内存爆炸的问题，通过阅读 Python 源代码找到了解决方案。
concurrent.futures --- 启动并行任务 — Python 3.7.13 文档
python中线程池使用 == TOC 一、简介 这里介绍在python中使用ThreadPoolExecutor进行多线程开发。 二、流程 2.1 线程池创建 #这里指定线程个数为3 executor = ThreadPoolExecutor(3) 2.2 任务执行 Executor的submit方法：不等待每个任务结果返回 Executor的map方法:等待每个任务结果返回，有任务完成就马上返回完成任务，其它未完成任务则继续等待 2.3 任务完成等待 使用Executor的map方法执行 使用as_co
导读：我很笨，但是我很快——计算机之所以计算能力如此出众，不在于其有多智能，而是因为它超快的执行速度，而多核心则可以进一步成倍的提高效率。在python中，concurrent库就是用于完成并发的模块之一。
截至 Python 3.6.6，concurrent.futures.ThreadPoolExecutor 中用的都是无·界队列，在生产速度大于消费速度时，可能会耗光系统资源，希望找到一种方式避免这种情况。
我们使用Python和它的数据处理库套件(如panda和scikiti -learn)进行大量数据处理时候，可能使用了大量的计算资源。如何监视程序的内存使用情况就显得尤为重要。
原题 | PYTHON: A QUICK INTRODUCTION TO THE CONCURRENT.FUTURES MODULE
Python中进行并发编程一般使用threading和multiprocessing模块，不过大部分的并发编程任务都是派生一系列线程，从队列中收集资源，然后用队列收集结果。在这些任务中，往往需要生成线程池，concurrent.futures模块对threading和multiprocessing模块进行了进一步的包装，可以很方便地实现池的功能。
os.environ['PYSPARK_PYTHON'] 的值设置为 你自己电脑上的 python.exe 绝对路径即可 , 不要按照我电脑上的 Python 解释器路径设置 ;
线程是操作系统能够进行运算调度的最小单位。它被包含在进程之中，是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流，一个进程中可以并发多个线程，每条线程并行执行不同的任务。一个进程至少有一个线程，一个进程必定有一个主线程。
在本篇文章里小编给大家整理的是一篇关于Python爬虫回测股票的实例讲解内容，有兴趣的朋友们可以学习下。
大家好！作为一名专业的爬虫程序员，我今天要和大家分享关于Python爬虫IP池优化方面的知识。我们将重点讨论Redis在代理池中的应用，并提供实际操作价值高、具有解决问题能力强的方法和代码示例。希望通过本文，您可以学到如何利用Redis来构建一个稳定可靠且高效运行的代理池。
一个标准的线程由线程ID，当前指令指针(PC），寄存器集合和堆栈组成。线程是进程中的一个实体，是被系统独立调度和分派的基本单位，线程本身不拥有系统资源，与进程内的其它线程共享进程的所有资源。一个进程中至少有一个线程，并作为程序的入口，即主线程，其它线程称为工作线程。 多线程，是指从软件或者硬件上实现多个线程并发执行的技术。支持多线程能力的计算机因有硬件支持而能够在同一时间执行多个线程，进而提升整体处理性能。
但是今天发现一个封装得更加简单暴力的多进程库concurrent.futures：
先介绍下背景：由于工作需要，前段时间又写了一段爬虫去获取和更新一些数据。之前爬虫主要用Scrapy框架批量爬取一些页面数据，或者用Gevent调用目标站点的接口。偶然看到了Tornado，听说这个框架很强大，所以打算这次爬虫用Tornado试试。不足之处，欢迎指正。
随着多核处理器的普及，进一步优化多线程编程变得至关重要。在本文中，我们将深入探讨Python中的线程池概念以及如何进行并发控制，以便更好地管理多线程任务。
python进程池Pool 和前面讲解的 python线程池 类似，虽然使用多进程能提高效率，但是进程的创建会消耗大量的计算机资源（进程Process的创建远远大于线程Thread创建占用的资源），线程是计算机最小的运行单位，连线程都需要使用线程池，进程有什么理由不使用进程池？
我们都知道python因为其GIL锁导致每一个线程被绑定到一个核上，导致python无法通过线程实现真正的平行计算。从而导致大量的核算力的浪费。但是
多年以来由于全局解释器锁(GIL)的存在，导致 Python 生态一直就没有真正的多线程，也就是说所有线程都运行在同一个核心上，不管你的 CPU 物理上有多少个核心它只用一个。那场面真的是一核有难 8 核围观。
来源 | http://cnblogs.com/zjfjava/p/11227456.html
工程师 Jim Anderson 分享了他的经验，他写了一篇关于「通过并发性加快 python 程序的速度」的文章。Jim 有多年的编程经验，并且使用过各种编程语言。他曾做过嵌入式系统相关的工作，开发过分布式系统，并且参加过许多会议。
从Python3.2开始，标准库为我们提供了 concurrent.futures 模块，它提供了 ThreadPoolExecutor (线程池)和ProcessPoolExecutor (进程池) 两个类。
根据编程逻辑一般需要计算密集和I/O操作密集的时候选择并发提高程序效率， Python 由于GIL的限制，密集性运算需要使用多核心CPU时候， 这时候多线程显得力不从心， 甚至会变得更慢。而当需要I/O操作， 比如HTTP长连接的时候， 耗费的时间只是TCP建立链接的等待时间， 这时候当然优先使用多线程。
一、关于concurrent.futures模块 Python标准库为我们提供了threading和multiprocessing模块编写相应的异步多线程/多进程代码。从Python3.2开始，标准库为我们提供了concurrent.futures模块，它提供了ThreadPoolExecutor和ProcessPoolExecutor两个类ThreadPoolExecutor和ProcessPoolExecutor继承了Executor，分别被用来创建线程池和进程池的代码。实现了对threading和mu
tips：这样的设计方案，可以避免频繁的线程创建，大部分的工作任务都会停留在第二步。
multiprocess模块的完全模仿了threading模块的接口，二者在使用层面，有很大的相似性，因而不再详细介绍
1. 为什么使用线程池？线程池是不是越多越好？ ---- 线程在 java 中是一个对象，更是操作系统的资源，线程创建、销毁需要时间。如果创建时间+销毁时间>执行任务时间就很不合算了。 Java 对象占用堆内存，操作系统线程占用系统内存，根据 jvm 规范，一个线程默认最大栈大小 1 M，这个栈空间是需要从系统内存中分配的。线程过多，会消耗很多的内存。 操作系统需要频繁切换线程上下文（大家都想被运行），影响性能。 线程池的推出，就是为了方便控制线程数量。 2. 线程池原理 - 概念
1.实现处理请求的Handler，该类继承自tornado.web.RequestHandler，实现用于处理请求的对应方法如：get、post等。返回内容用self.write方法输出。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
