首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >requests 多线程刷屏「Connection pool is full, discarding connection」:pool_maxsize、pool

requests 多线程刷屏「Connection pool is full, discarding connection」:pool_maxsize、pool

原创
作者头像
用户12904616
发布于 2026-11-20 10:25:49
发布于 2026-11-20 10:25:49
130
举报

环境是 Python 3.12、requests 2.34.2、urllib3 2.8.0,服务端是本机写的测试服务,所有数字都是实测。

先说结论: 这条警告的意思是「请求做完了,想把连接放回去留着复用,但存放空闲连接的位置已经满了,只好把这条连接关掉」。请求本身没有失败,代价是之后要重新建连。原因几乎总是线程数大于 pool_maxsize(requests 默认 10)。改法:

代码语言:javascript
复制
from requests.adapters import HTTPAdapter
s = requests.Session()
adapter = HTTPAdapter(pool_maxsize=20)     # 不小于你的并发线程数
s.mount("http://", adapter)
s.mount("https://", adapter)

另外两个参数常被搞混:pool_connections 是「为多少个不同的主机各保留一组连接」,不是连接数;pool_block=True 会让多出来的线程排队等连接,而不是新建连接。下面用实验把三者的行为都跑一遍。

测试服务端

服务端每个请求等 0.2 秒再回,并把客户端的端口号作为响应体返回。同一条 TCP 连接的端口不变,所以统计响应里出现了多少个不同的端口,就知道客户端一共建了多少条连接。

代码语言:javascript
复制
# pool_server.py:每个请求等 0.2 秒;响应体是客户端端口,用来数连接
import threading, time
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer

class H(BaseHTTPRequestHandler):
    protocol_version = "HTTP/1.1"          # 支持 keep-alive
    def do_GET(self):
        time.sleep(0.2)
        body = str(self.client_address[1]).encode()
        self.send_response(200)
        self.send_header("Content-Length", str(len(body)))
        self.end_headers()
        self.wfile.write(body)
    def log_message(self, *a): pass

class Server(ThreadingHTTPServer):
    request_queue_size = 128          # 默认是 5,并发一高 macOS 会直接 RST 新连接

for port in (18108, 18109):
    srv = Server(("127.0.0.1", port), H)
    threading.Thread(target=srv.serve_forever, daemon=True).start()
threading.Event().wait()

request_queue_size 这一行是我先踩了坑才加上的。一开始用默认值,20 个线程同时连过来,客户端报了几个:

代码语言:javascript
复制
requests.exceptions.ConnectionError: HTTPConnectionPool(host='127.0.0.1', port=18108): Max retries exceeded with url: / (Caused by NewConnectionError("HTTPConnection(host='127.0.0.1', port=18108): Failed to establish a new connection: [Errno 54] Connection reset by peer"))

socketserver 的 request_queue_size 默认是 5,也就是 listen() 的 backlog。还没来得及 accept 的连接超过这个数,macOS 会直接回 RST,客户端看到的就是 Connection reset by peer。自己写测试服务做并发实验时,这个值要调大,否则测的是服务端的毛病。

客户端

代码语言:javascript
复制
# pool_test.py
import logging, sys, time
from concurrent.futures import ThreadPoolExecutor
import requests
from requests.adapters import HTTPAdapter

logging.basicConfig(format="%(levelname)s %(name)s: %(message)s")   # 显示 WARNING

def run(title, session, workers=20, rounds=3, urls=("http://127.0.0.1:18108/",)):
    ports = []
    def one(i):
        return session.get(urls[i % len(urls)], timeout=10).text
    t = time.monotonic()
    with ThreadPoolExecutor(max_workers=workers) as ex:
        for k in range(rounds):
            ports += list(ex.map(one, range(k * workers, (k + 1) * workers)))
    print(f"{title}: {len(ports)} 个请求,用了 {len(set(ports))} 条 TCP 连接,{time.monotonic()-t:.1f}s")

mode = sys.argv[1]
s = requests.Session()
if mode == "default":
    run("默认 Session,20 线程", s)
elif mode == "maxsize":
    s.mount("http://", HTTPAdapter(pool_maxsize=20))
    run("pool_maxsize=20,20 线程", s)
elif mode == "block":
    s.mount("http://", HTTPAdapter(pool_maxsize=5, pool_block=True))
    run("pool_maxsize=5 + pool_block=True,20 线程", s)
elif mode == "hosts1":
    s.mount("http://", HTTPAdapter(pool_connections=1))
    run("pool_connections=1,单线程轮流访问两个端口", s, workers=1, rounds=20,
        urls=("http://127.0.0.1:18108/", "http://127.0.0.1:18109/"))
elif mode == "hosts10":
    run("默认 pool_connections=10,单线程轮流访问两个端口", s, workers=1, rounds=20,
        urls=("http://127.0.0.1:18108/", "http://127.0.0.1:18109/"))

实验一:默认设置,20 个线程

代码语言:javascript
复制
WARNING urllib3.connectionpool: Connection pool is full, discarding connection: 127.0.0.1. Connection pool size: 10
(同样的警告共 30 条)
默认 Session,20 线程: 60 个请求,用了 40 条 TCP 连接,0.7s

过程是这样的:

  • 第一轮 20 个线程同时发请求。空闲连接一条都没有,于是新建了 20 条;
  • 请求结束后往回放,前 10 条放进去了,后 10 条放不下,各打一条警告并关闭;
  • 第二轮 20 个线程,10 个拿到复用的连接,另外 10 个只能新建,结束后又丢掉 10 条;
  • 第三轮同样。

所以 60 个请求建了 20 + 10 + 10 = 40 条连接,警告 30 条。注意 pool_maxsize 并不限制同时存在的连接数,它限制的是「留着复用的空闲连接最多几条」。不阻塞模式下,并发超过它时照样新建连接,只是用完就扔。

在 urllib3 源码里,这条警告来自 connectionpool.py 的 _put_conn:往队列里放连接时队列已满,就记一条日志并关闭连接。

实验二:pool_maxsize 调到 20

代码语言:javascript
复制
pool_maxsize=20,20 线程: 60 个请求,用了 20 条 TCP 连接,0.7s

没有警告,20 条连接被反复复用。这里是本机通信,建连几乎不花时间,所以总耗时看不出差别。换成访问远处的 https 服务,每条新连接都要多付出 TCP 握手和 TLS 握手的往返时间;连接数一多,这部分开销会很明显。连接丢得越多,浪费越多。

实验三:pool_block=True,限制连接数

代码语言:javascript
复制
pool_maxsize=5 + pool_block=True,20 线程: 60 个请求,用了 5 条 TCP 连接,2.5s

阻塞模式下,pool_maxsize 变成了硬上限:只有 5 条连接,20 个线程轮流用,多出来的线程等别人还连接。60 个请求每个 0.2 秒,5 条连接并行,理论耗时 60 × 0.2 ÷ 5 = 2.4 秒,实测 2.5 秒。

什么时候需要它:对方服务限制了单个客户端的并发连接数,或者你想保护一个容量很小的后端。需要注意,requests 调用 urllib3 时没有传 pool_timeout,线程拿不到连接会一直等。如果持有连接的请求卡住了,排队的线程也跟着卡住,所以这种模式下一定要给每个请求设置 timeout。

实验四:pool_connections 是「主机数」

两个端口在 urllib3 眼里是两个不同的目标(连接按 协议 + 主机 + 端口 分组)。单线程、交替访问 18108 和 18109:

代码语言:javascript
复制
pool_connections=1,单线程轮流访问两个端口: 20 个请求,用了 20 条 TCP 连接,4.2s
默认 pool_connections=10,单线程轮流访问两个端口: 20 个请求,用了 2 条 TCP 连接,4.2s

pool_connections=1 时,urllib3 只为 1 个目标保留连接组。访问 18109 时,18108 的连接组被挤出去、连接被关闭;再访问 18108,又得新建。结果是 20 个请求建了 20 条连接,keep-alive 完全没起作用,而且没有任何警告。默认值 10 的情况下,两个目标各留一组,全程只用了 2 条连接。

所以:

  • pool_connections:同时访问很多个不同主机(比如爬很多个站、调用很多个服务)时调大;
  • pool_maxsize:对同一个主机的并发线程多时调大。

两者都是 HTTPAdapter 的参数,默认都是 10。

常见误区

  • 「把警告关掉就行」:用 logging.getLogger("urllib3").setLevel(logging.ERROR) 能让它不显示,但连接照样在被丢弃,性能问题还在。
  • 「每个请求 new 一个 Session」:这样根本没有复用,警告是不会有了,但每个请求都要重新建连。一个 Session 应该被多个线程长期复用,或者每个线程固定一个、长期使用。
  • 只给 https 前缀挂了 adapter:s.mount 按网址前缀匹配,http 和 https 两个前缀要分别挂(可以挂同一个 adapter 实例)。
  • 用 requests.get() 这类模块级函数:每次调用都会创建并关闭一个临时 Session,同样没有复用。

小结

参数

默认

含义

什么时候改

pool_maxsize

10

每个目标最多留几条空闲连接(阻塞模式下是连接上限)

线程数大于 10

pool_block

False

连接不够时排队等,而不是新建

需要限制并发连接数

pool_connections

10

最多为几个目标各留一组连接

同时访问的主机多于 10 个

看到 "Connection pool is full",先数一下线程数,再把 pool_maxsize 调到不小于它,这条警告通常就消失了。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 测试服务端
  • 客户端
  • 实验一:默认设置,20 个线程
  • 实验二:pool_maxsize 调到 20
  • 实验三:pool_block=True,限制连接数
  • 实验四:pool_connections 是「主机数」
  • 常见误区
  • 小结
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档