一台跑着 Docker 的小服务器,某天早上 git 拉取仓库突然全部失败:
fatal: unable to access 'https://gitee.com/xxx/xxx.git/': Proxy CONNECT aborted耗时 0 秒。同一时刻,所有需要经过本机代理出网的请求——推送通知、境外 API——全军覆没。
但代理容器显示 healthy,进程活着,端口转发服务也在监听。重启容器、重启转发服务、换协议、换节点,全都无效。核心日志里只有一行:
Failed to start: failed to listen TCP on 127.0.0.1:20170
> bind: address already in use
[W] v2ray-core: exit status 255address already in use,按经验就是有进程占着端口。可 ss -lntp | grep 20170 的输出是空的——没有任何进程在监听这个端口。
这篇记录整个排查过程:一个三个月前"优化"进去的 sysctl 参数,如何让内核把端口分配给了端口自己,形成一个每次重启都无法解开的死锁。
层 | 现象 | 看起来像什么 | 实际是什么 |
|---|---|---|---|
1 | git 报 | 代理被墙、节点失效 | 代理进程根本没在跑 |
2 | 转发服务(socat)还在监听 20173 | 链路应该是通的 | 它转发到的 20172 已经不存在了 |
3 | 代理容器 healthy,核心反复 | 端口被某个进程占用 | 占用者是一条 TIME_WAIT 状态的残留连接 |
第一层最误导人。Proxy CONNECT aborted 是代理主动断开 CONNECT 隧道,常见于节点不可用——如果只盯着这一行,会去查节点、查订阅、查协议,越查越远。
第二层是"半死链路"的典型:链路上的每一环单看都活着,但末端断了。socat 接受连接后发现目标不存在,直接断开,客户端就看到"瞬间失败"。
真正的问题在第三层。
按标准动作来一遍:
# 谁占着 20170?
ss -lntp | grep 20170
# (空输出)
# 重启代理容器
docker restart v2raya
# 核心照样 exit 255
# 重启端口转发
systemctl restart socat-v2raya
# 无效——它只是转发,20172 的死活不归它管ss -lntp 只显示 LISTEN 状态的 socket。它输出为空,说明确实没有进程在监听——但内核依然拒绝 bind。这时候就该意识到:占着端口的不是进程,是内核里的某条连接状态。
去掉 -l,看全部 TCP 状态:
ss -tan -o | grep 20170输出直接暴露了答案:
SYN-SENT 127.0.0.1:26332 127.0.0.1:20170 timer:(on,510ms,0)
TIME-WAIT 127.0.0.1:20170 127.0.0.1:20170 timer:(timewait,54sec,0)两条线索:
127.0.0.1:20170 → 127.0.0.1:20170。一条连接的两端是同一个端口,这就是 TCP 自连接(self-connect)。timewait,54sec 的计时器永远在 54~60 秒之间,从不倒数到零。正常 TIME_WAIT 应该在 60 秒后消失,它却一直被"续命"。作为对照,相邻的 20171 端口用 Python 一测就能 bind 成功,只有 20170 被死死占住。
Linux 上每发起一条出站连接(connect),如果程序没有显式绑定源端口,内核就从 临时端口范围(ephemeral port range)里挑一个空闲端口做源端口。这个范围由一个 sysctl 参数控制:
sysctl net.ipv4.ip_local_port_range
# Ubuntu/Debian 默认:
# net.ipv4.ip_local_port_range = 32768 60999出事的那台机器上,这个值是:
net.ipv4.ip_local_port_range = 1024 65535三个月前一次"网络优化"把它从默认值改成了 1024 65535,动机大概是"扩大可用端口数"。代价是:临时端口和所有服务端口混在同一个池子里——内核完全可能把某个服务的监听端口,分配给出站连接当源端口。
复盘完整时序:
connect 127.0.0.1:20170,检查核心是否恢复。1024 65535 包含了 20170,某次 connect 时,内核把源端口恰好分配成了 20170。(127.0.0.1:20170, 127.0.0.1:20170)——本机 connect 本机的同一个端口。loopback 上这能成功握手,连接建立,程序自己和自己聊了起来。bind 20170——在没有设置 SO_REUSEADDR 的情况下,bind 撞上 TIME_WAIT 直接 EADDRINUSE。核心 exit 255。第 7 步就是死锁闭环:只要探测还在进行,TIME_WAIT 就永远不会自然过期。这也解释了那个"计时器永远 54 秒"的观测值——每次探测成功自连接一次,计时器就重置一次。它不是不递减,是刚递减一点就被刷新了。
TIME_WAIT 状态挂在宿主内核的网络栈上,不属于任何容器。容器里杀进程、重建容器、换镜像,全都碰不到它。这也是这个死锁最阴的地方:所有常规的"应用层重启"手段都作用在错误的一层。
# 先看现状
grep ip_local_port_range /etc/sysctl.conf
# 备份再改
cp /etc/sysctl.conf /root/sysctl.conf.bak-$(date +%Y%m%d-%H%M)
sed -i 's/^net.ipv4.ip_local_port_range = 1024 65535$/net.ipv4.ip_local_port_range = 32768 60999/' /etc/sysctl.conf
# 立即生效
sysctl -w net.ipv4.ip_local_port_range="32768 60999"改完之后,内核不会再把 20170 分配给出站连接,自连接的源头被切断。
存量那条 TIME_WAIT 还在,但它已经不会被刷新了,60 秒后自然消失。验证:
ss -tan | grep 20170 || echo "已消失"用一段最小代码直接测 bind,不依赖任何服务:
import socket
s = socket.socket()
s.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
try:
s.bind(("127.0.0.1", 20170)); s.listen(1)
print("20170 可以正常绑定")
except OSError as e:
print("仍被占用:", e)
finally:
s.close()实测输出"可以正常绑定"之后,再去面板启动核心——20170/20171/20172 三个端口全部恢复监听,整条代理链路立即可用。全程没有重启机器,也没有动任何容器数据。
1. address already in use ≠ 有进程在监听。
TIME_WAIT、CLOSE_WAIT 的残留连接同样会让 bind 失败。下次遇到"报占用但 ss -lntp 找不到人",第一时间换成 ss -tan 看全状态。
2. 不要把 ip_local_port_range 的下限调低。
32768 60999 是发行版默认,它存在的意义就是把临时端口和服务端口隔离开。改成 1024 65535 等于把两个地址池合并——你的任何服务端口,都可能被内核拿去当出站源端口。真遇到临时端口耗尽(几千条并发出站连接的场景),先考虑 ip_local_reserved_ports 保留段,而不是扩大范围。
3. 容器问题重启容器无效时,去宿主内核找状态。
TIME_WAIT、conntrack 表、sysctl、内核模块参数,这些都活在宿主机上,容器重建碰不到它们。判断方法很简单:换个容器(或者一个裸进程)做同样的事,如果问题跟着端口走而不是跟着容器走,就是内核态状态。
4. "计时器不走"本身就是线索。
正常的 TIME_WAIT 计时器会稳定倒数到零然后消失。一个永远停留在 54~60 秒的计时器,说明有东西在持续刷新它——顺着"谁在刷新"找下去,就能找到那个探测循环。
三条命令,一分钟做完:
# 1. 临时端口范围是否被改过(默认应为 32768 60999)
sysctl net.ipv4.ip_local_port_range
# 2. 全机有没有自连接(本地端口 = 远端端口)
ss -tan -o | awk '$4 == $5 && $4 != "Local"'
# 3. 有没有"永远不倒计时"的 TIME_WAIT
ss -tan -o state time-wait | head第 1 条输出不对,说明雷已经埋下——它平时不炸,只是在某个服务重启、且恰好撞上端口的那个清晨,把你的整条链路锁死。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。