首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >address already in use,却找不到占用进程:一个 sysctl 参数引发的自连接死锁

address already in use,却找不到占用进程:一个 sysctl 参数引发的自连接死锁

原创
作者头像
用户10817318
发布于 2026-11-21 16:44:27
发布于 2026-11-21 16:44:27
90
举报

一台跑着 Docker 的小服务器,某天早上 git 拉取仓库突然全部失败:

代码语言:txt
复制
fatal: unable to access 'https://gitee.com/xxx/xxx.git/': Proxy CONNECT aborted

耗时 0 秒。同一时刻,所有需要经过本机代理出网的请求——推送通知、境外 API——全军覆没。

但代理容器显示 healthy,进程活着,端口转发服务也在监听。重启容器、重启转发服务、换协议、换节点,全都无效。核心日志里只有一行:

代码语言:txt
复制
Failed to start: failed to listen TCP on 127.0.0.1:20170
    > bind: address already in use
[W] v2ray-core: exit status 255

address already in use,按经验就是有进程占着端口。可 ss -lntp | grep 20170 的输出是空的——没有任何进程在监听这个端口。

这篇记录整个排查过程:一个三个月前"优化"进去的 sysctl 参数,如何让内核把端口分配给了端口自己,形成一个每次重启都无法解开的死锁。

一、现象:三层连环,每一层都在误导

层

现象

看起来像什么

实际是什么

1

git 报 Proxy CONNECT aborted,0 秒失败

代理被墙、节点失效

代理进程根本没在跑

2

转发服务(socat)还在监听 20173

链路应该是通的

它转发到的 20172 已经不存在了

3

代理容器 healthy,核心反复 exit 255

端口被某个进程占用

占用者是一条 TIME_WAIT 状态的残留连接

第一层最误导人。Proxy CONNECT aborted 是代理主动断开 CONNECT 隧道,常见于节点不可用——如果只盯着这一行,会去查节点、查订阅、查协议,越查越远。

第二层是"半死链路"的典型:链路上的每一环单看都活着,但末端断了。socat 接受连接后发现目标不存在,直接断开,客户端就看到"瞬间失败"。

真正的问题在第三层。

二、常规排查为什么全部失效

按标准动作来一遍:

代码语言:txt
复制
# 谁占着 20170?
ss -lntp | grep 20170
# (空输出)

# 重启代理容器
docker restart v2raya
# 核心照样 exit 255

# 重启端口转发
systemctl restart socat-v2raya
# 无效——它只是转发,20172 的死活不归它管

ss -lntp 只显示 LISTEN 状态的 socket。它输出为空,说明确实没有进程在监听——但内核依然拒绝 bind。这时候就该意识到:占着端口的不是进程,是内核里的某条连接状态。

去掉 -l,看全部 TCP 状态:

代码语言:txt
复制
ss -tan -o | grep 20170

输出直接暴露了答案:

代码语言:txt
复制
SYN-SENT   127.0.0.1:26332   127.0.0.1:20170   timer:(on,510ms,0)
TIME-WAIT  127.0.0.1:20170   127.0.0.1:20170   timer:(timewait,54sec,0)

两条线索:

  1. TIME_WAIT 那一行的本地地址和远端地址一模一样——127.0.0.1:20170 → 127.0.0.1:20170。一条连接的两端是同一个端口,这就是 TCP 自连接(self-connect)。
  2. 这个 timewait,54sec 的计时器永远在 54~60 秒之间,从不倒数到零。正常 TIME_WAIT 应该在 60 秒后消失,它却一直被"续命"。

作为对照,相邻的 20171 端口用 Python 一测就能 bind 成功,只有 20170 被死死占住。

三、原理:临时端口如何连上了自己

ip_local_port_range 是什么

Linux 上每发起一条出站连接(connect),如果程序没有显式绑定源端口,内核就从 临时端口范围(ephemeral port range)里挑一个空闲端口做源端口。这个范围由一个 sysctl 参数控制:

代码语言:txt
复制
sysctl net.ipv4.ip_local_port_range
# Ubuntu/Debian 默认:
# net.ipv4.ip_local_port_range = 32768    60999

出事的那台机器上,这个值是:

代码语言:txt
复制
net.ipv4.ip_local_port_range = 1024    65535

三个月前一次"网络优化"把它从默认值改成了 1024 65535,动机大概是"扩大可用端口数"。代价是:临时端口和所有服务端口混在同一个池子里——内核完全可能把某个服务的监听端口,分配给出站连接当源端口。

自连接是怎么形成的

复盘完整时序:

  1. 代理核心因为某种原因没起来(比如一次正常的容器重启)。
  2. 面板进程有探活逻辑:反复 connect 127.0.0.1:20170,检查核心是否恢复。
  3. 因为 1024 65535 包含了 20170,某次 connect 时,内核把源端口恰好分配成了 20170。
  4. 于是这条连接的四元组是 (127.0.0.1:20170, 127.0.0.1:20170)——本机 connect 本机的同一个端口。loopback 上这能成功握手,连接建立,程序自己和自己聊了起来。
  5. 探测超时,连接关闭。主动关闭方进入 TIME_WAIT,Linux 上持续 60 秒(2MSL)。
  6. 这条 TIME_WAIT 的四元组占住了 20170。核心恢复后尝试 bind 20170——在没有设置 SO_REUSEADDR 的情况下,bind 撞上 TIME_WAIT 直接 EADDRINUSE。核心 exit 255。
  7. 核心起不来 → 面板继续探测 → 又一次可能自连接 → TIME_WAIT 被重新续上。

第 7 步就是死锁闭环:只要探测还在进行,TIME_WAIT 就永远不会自然过期。这也解释了那个"计时器永远 54 秒"的观测值——每次探测成功自连接一次,计时器就重置一次。它不是不递减,是刚递减一点就被刷新了。

为什么重启容器没用

TIME_WAIT 状态挂在宿主内核的网络栈上,不属于任何容器。容器里杀进程、重建容器、换镜像,全都碰不到它。这也是这个死锁最阴的地方:所有常规的"应用层重启"手段都作用在错误的一层。

四、修复:三步

1. 把临时端口范围改回默认,并持久化

代码语言:txt
复制
# 先看现状
grep ip_local_port_range /etc/sysctl.conf

# 备份再改
cp /etc/sysctl.conf /root/sysctl.conf.bak-$(date +%Y%m%d-%H%M)
sed -i 's/^net.ipv4.ip_local_port_range = 1024 65535$/net.ipv4.ip_local_port_range = 32768 60999/' /etc/sysctl.conf

# 立即生效
sysctl -w net.ipv4.ip_local_port_range="32768 60999"

改完之后,内核不会再把 20170 分配给出站连接,自连接的源头被切断。

2. 等 TIME_WAIT 自然过期

存量那条 TIME_WAIT 还在,但它已经不会被刷新了,60 秒后自然消失。验证:

代码语言:txt
复制
ss -tan | grep 20170 || echo "已消失"

3. 确认端口真的空出来了

用一段最小代码直接测 bind,不依赖任何服务:

代码语言:txt
复制
import socket
s = socket.socket()
s.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
try:
    s.bind(("127.0.0.1", 20170)); s.listen(1)
    print("20170 可以正常绑定")
except OSError as e:
    print("仍被占用:", e)
finally:
    s.close()

实测输出"可以正常绑定"之后,再去面板启动核心——20170/20171/20172 三个端口全部恢复监听,整条代理链路立即可用。全程没有重启机器,也没有动任何容器数据。

五、复盘:四条可以带走的教训

1. address already in use ≠ 有进程在监听。

TIME_WAIT、CLOSE_WAIT 的残留连接同样会让 bind 失败。下次遇到"报占用但 ss -lntp 找不到人",第一时间换成 ss -tan 看全状态。

2. 不要把 ip_local_port_range 的下限调低。

32768 60999 是发行版默认,它存在的意义就是把临时端口和服务端口隔离开。改成 1024 65535 等于把两个地址池合并——你的任何服务端口,都可能被内核拿去当出站源端口。真遇到临时端口耗尽(几千条并发出站连接的场景),先考虑 ip_local_reserved_ports 保留段,而不是扩大范围。

3. 容器问题重启容器无效时,去宿主内核找状态。

TIME_WAIT、conntrack 表、sysctl、内核模块参数,这些都活在宿主机上,容器重建碰不到它们。判断方法很简单:换个容器(或者一个裸进程)做同样的事,如果问题跟着端口走而不是跟着容器走,就是内核态状态。

4. "计时器不走"本身就是线索。

正常的 TIME_WAIT 计时器会稳定倒数到零然后消失。一个永远停留在 54~60 秒的计时器,说明有东西在持续刷新它——顺着"谁在刷新"找下去,就能找到那个探测循环。

六、给你的自查清单

三条命令,一分钟做完:

代码语言:txt
复制
# 1. 临时端口范围是否被改过(默认应为 32768 60999)
sysctl net.ipv4.ip_local_port_range

# 2. 全机有没有自连接(本地端口 = 远端端口)
ss -tan -o | awk '$4 == $5 && $4 != "Local"'

# 3. 有没有"永远不倒计时"的 TIME_WAIT
ss -tan -o state time-wait | head

第 1 条输出不对,说明雷已经埋下——它平时不炸,只是在某个服务重启、且恰好撞上端口的那个清晨,把你的整条链路锁死。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 一、现象:三层连环,每一层都在误导
  • 二、常规排查为什么全部失效
  • 三、原理:临时端口如何连上了自己
    • ip_local_port_range 是什么
    • 自连接是怎么形成的
    • 为什么重启容器没用
  • 四、修复:三步
    • 1. 把临时端口范围改回默认,并持久化
    • 2. 等 TIME_WAIT 自然过期
    • 3. 确认端口真的空出来了
  • 五、复盘:四条可以带走的教训
  • 六、给你的自查清单
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档