环境是 Python 3.12、requests 2.34.2、urllib3 2.8.0,服务端是本机写的测试服务,所有数字都是实测。
先说结论: 这条警告的意思是「请求做完了,想把连接放回去留着复用,但存放空闲连接的位置已经满了,只好把这条连接关掉」。请求本身没有失败,代价是之后要重新建连。原因几乎总是线程数大于 pool_maxsize(requests 默认 10)。改法:
from requests.adapters import HTTPAdapter
s = requests.Session()
adapter = HTTPAdapter(pool_maxsize=20) # 不小于你的并发线程数
s.mount("http://", adapter)
s.mount("https://", adapter)另外两个参数常被搞混:pool_connections 是「为多少个不同的主机各保留一组连接」,不是连接数;pool_block=True 会让多出来的线程排队等连接,而不是新建连接。下面用实验把三者的行为都跑一遍。
服务端每个请求等 0.2 秒再回,并把客户端的端口号作为响应体返回。同一条 TCP 连接的端口不变,所以统计响应里出现了多少个不同的端口,就知道客户端一共建了多少条连接。
# pool_server.py:每个请求等 0.2 秒;响应体是客户端端口,用来数连接
import threading, time
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer
class H(BaseHTTPRequestHandler):
protocol_version = "HTTP/1.1" # 支持 keep-alive
def do_GET(self):
time.sleep(0.2)
body = str(self.client_address[1]).encode()
self.send_response(200)
self.send_header("Content-Length", str(len(body)))
self.end_headers()
self.wfile.write(body)
def log_message(self, *a): pass
class Server(ThreadingHTTPServer):
request_queue_size = 128 # 默认是 5,并发一高 macOS 会直接 RST 新连接
for port in (18108, 18109):
srv = Server(("127.0.0.1", port), H)
threading.Thread(target=srv.serve_forever, daemon=True).start()
threading.Event().wait()request_queue_size 这一行是我先踩了坑才加上的。一开始用默认值,20 个线程同时连过来,客户端报了几个:
requests.exceptions.ConnectionError: HTTPConnectionPool(host='127.0.0.1', port=18108): Max retries exceeded with url: / (Caused by NewConnectionError("HTTPConnection(host='127.0.0.1', port=18108): Failed to establish a new connection: [Errno 54] Connection reset by peer"))socketserver 的 request_queue_size 默认是 5,也就是 listen() 的 backlog。还没来得及 accept 的连接超过这个数,macOS 会直接回 RST,客户端看到的就是 Connection reset by peer。自己写测试服务做并发实验时,这个值要调大,否则测的是服务端的毛病。
# pool_test.py
import logging, sys, time
from concurrent.futures import ThreadPoolExecutor
import requests
from requests.adapters import HTTPAdapter
logging.basicConfig(format="%(levelname)s %(name)s: %(message)s") # 显示 WARNING
def run(title, session, workers=20, rounds=3, urls=("http://127.0.0.1:18108/",)):
ports = []
def one(i):
return session.get(urls[i % len(urls)], timeout=10).text
t = time.monotonic()
with ThreadPoolExecutor(max_workers=workers) as ex:
for k in range(rounds):
ports += list(ex.map(one, range(k * workers, (k + 1) * workers)))
print(f"{title}: {len(ports)} 个请求,用了 {len(set(ports))} 条 TCP 连接,{time.monotonic()-t:.1f}s")
mode = sys.argv[1]
s = requests.Session()
if mode == "default":
run("默认 Session,20 线程", s)
elif mode == "maxsize":
s.mount("http://", HTTPAdapter(pool_maxsize=20))
run("pool_maxsize=20,20 线程", s)
elif mode == "block":
s.mount("http://", HTTPAdapter(pool_maxsize=5, pool_block=True))
run("pool_maxsize=5 + pool_block=True,20 线程", s)
elif mode == "hosts1":
s.mount("http://", HTTPAdapter(pool_connections=1))
run("pool_connections=1,单线程轮流访问两个端口", s, workers=1, rounds=20,
urls=("http://127.0.0.1:18108/", "http://127.0.0.1:18109/"))
elif mode == "hosts10":
run("默认 pool_connections=10,单线程轮流访问两个端口", s, workers=1, rounds=20,
urls=("http://127.0.0.1:18108/", "http://127.0.0.1:18109/"))WARNING urllib3.connectionpool: Connection pool is full, discarding connection: 127.0.0.1. Connection pool size: 10
(同样的警告共 30 条)
默认 Session,20 线程: 60 个请求,用了 40 条 TCP 连接,0.7s过程是这样的:
所以 60 个请求建了 20 + 10 + 10 = 40 条连接,警告 30 条。注意 pool_maxsize 并不限制同时存在的连接数,它限制的是「留着复用的空闲连接最多几条」。不阻塞模式下,并发超过它时照样新建连接,只是用完就扔。
在 urllib3 源码里,这条警告来自 connectionpool.py 的 _put_conn:往队列里放连接时队列已满,就记一条日志并关闭连接。
pool_maxsize=20,20 线程: 60 个请求,用了 20 条 TCP 连接,0.7s没有警告,20 条连接被反复复用。这里是本机通信,建连几乎不花时间,所以总耗时看不出差别。换成访问远处的 https 服务,每条新连接都要多付出 TCP 握手和 TLS 握手的往返时间;连接数一多,这部分开销会很明显。连接丢得越多,浪费越多。
pool_maxsize=5 + pool_block=True,20 线程: 60 个请求,用了 5 条 TCP 连接,2.5s阻塞模式下,pool_maxsize 变成了硬上限:只有 5 条连接,20 个线程轮流用,多出来的线程等别人还连接。60 个请求每个 0.2 秒,5 条连接并行,理论耗时 60 × 0.2 ÷ 5 = 2.4 秒,实测 2.5 秒。
什么时候需要它:对方服务限制了单个客户端的并发连接数,或者你想保护一个容量很小的后端。需要注意,requests 调用 urllib3 时没有传 pool_timeout,线程拿不到连接会一直等。如果持有连接的请求卡住了,排队的线程也跟着卡住,所以这种模式下一定要给每个请求设置 timeout。
两个端口在 urllib3 眼里是两个不同的目标(连接按 协议 + 主机 + 端口 分组)。单线程、交替访问 18108 和 18109:
pool_connections=1,单线程轮流访问两个端口: 20 个请求,用了 20 条 TCP 连接,4.2s
默认 pool_connections=10,单线程轮流访问两个端口: 20 个请求,用了 2 条 TCP 连接,4.2spool_connections=1 时,urllib3 只为 1 个目标保留连接组。访问 18109 时,18108 的连接组被挤出去、连接被关闭;再访问 18108,又得新建。结果是 20 个请求建了 20 条连接,keep-alive 完全没起作用,而且没有任何警告。默认值 10 的情况下,两个目标各留一组,全程只用了 2 条连接。
所以:
pool_connections:同时访问很多个不同主机(比如爬很多个站、调用很多个服务)时调大;pool_maxsize:对同一个主机的并发线程多时调大。两者都是 HTTPAdapter 的参数,默认都是 10。
logging.getLogger("urllib3").setLevel(logging.ERROR) 能让它不显示,但连接照样在被丢弃,性能问题还在。s.mount 按网址前缀匹配,http 和 https 两个前缀要分别挂(可以挂同一个 adapter 实例)。requests.get() 这类模块级函数:每次调用都会创建并关闭一个临时 Session,同样没有复用。参数 | 默认 | 含义 | 什么时候改 |
|---|---|---|---|
pool_maxsize | 10 | 每个目标最多留几条空闲连接(阻塞模式下是连接上限) | 线程数大于 10 |
pool_block | False | 连接不够时排队等,而不是新建 | 需要限制并发连接数 |
pool_connections | 10 | 最多为几个目标各留一组连接 | 同时访问的主机多于 10 个 |
看到 "Connection pool is full",先数一下线程数,再把 pool_maxsize 调到不小于它,这条警告通常就消失了。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。