POE 供电下的 TCP/IP 长连接保活：以太网温湿度传感器因心跳超时掉线的排查实录

POE 供电下的 TCP/IP 长连接保活：以太网温湿度传感器因心跳超时掉线的排查实录

一、现象

跨城机房，PoE 网口温湿度变送器经边缘网关接入腾讯云 IoT Explorer。运行一周后运维反馈：

• 平台侧设备影子周期性显示 offline，数分钟后自动恢复 online
• 边缘网关日志：MQTT connection lost, reconnecting...，重连后退避，补传本地缓存
• 现场本地巡检：变送器 LCD 显示正常，网口灯闪，PoE 交换机端口 up，LLDP 看到 PD 在线
• 抓包发现：断链窗口内网关侧 TCP 8883 连接 RST/超时，恢复后重新握手

初步怀疑云侧限流或证书过期，排除后定位到本地链路层 + PoE 供电耦合。

二、拓扑复盘

变送器(PD) ─Cat5e─ PoE交换机(柜内) ─内网─ 边缘网关(Mini PC)
                                    │
                          MQTTS → 腾讯云 IoT Explorer

• 变送器本身不跑 MQTT，边缘网关代采 Modbus TCP（502），再维持一条 MQTTS 长连接上云
• "掉线"在文中分两层，先分清：
  1. 边缘网关 ↔ 云 MQTT 长连接断开
  2. 边缘网关 ↔ 变送器 Modbus TCP 会话断开（短连接轮询，非长连接，但探测失败会被判离线）
• 告警风暴来自第一层，现场误判为传感器掉线。

三、排查过程

1. 确认掉线触发源

边缘网关日志加时间戳 + TCP 状态跟踪：

ss -tnp | grep 8883
dmesg -T | grep -i 'link\|phy'
tcpdump -i eth0 -nn 'tcp port 8883' -w /tmp/mqtt.pcap &
tcpdump -i eth0 -nn 'tcp port 502' -w /tmp/modbus.pcap &

Wireshark 回传分析：断链前出现：

• TCP keep-alive probe 无响应 → Linux 内核 TCP 栈发 probe，未收到 ACK
• 随后 RTO 退避，应用层 paho/on_disconnect 回调触发重连

2. PoE 供电侧关联

同期交换机日志：PoE controller temperature alarm、port power denied、PD powered down。

关键线索：掉线窗口与柜内空调压缩机启停、白天负载升高重合。示波器/电源记录仪挂 PoE 交换机一次电源输入 + 端口输出：

• 夏季柜内温升，PoE 交换机 DC-DC 降额，端口功率管理动态回收
• 非托管 PoE 交换机在过流/过温时端口循环重启（port reset），PD 掉电 ~3–8s
• 变送器重启后 DHCP 重新获取 IP，但边缘网关轮询表仍用旧 IP/ARP 表未刷新
• 网关出网链路未断，但本地采集失败 → 上报 last_collect_ts 陈旧，云侧影子超时判定离线；同时 MQTTS 保活因网络命名空间/路由抖动触发重连

3. 应用层保活参数核查

paho-mqtt（Python）配置：

client = mqtt.Client(...)
client.enable_logger()
client.keepalive = 60

问题点：

• MQTT KEEPALIVE=60s，TCP 层未设 SO_KEEPALIVE，也未启 TCP_USER_TIMEOUT
• 中间 NAT/防火墙会话超时 300s，长连接空闲时平台侧正常，但本地链路 down/up 后路由缓存失效
• paho v1 默认自动重连未开；v2 需显式 ReconnectHandlerBackoff，现场代码只 on_disconnect 里 sleep 重连，退避不当导致风暴
• 更隐蔽：PoE 端口复位后网口 PHY 重新协商，内核路由仍指向旧 iface，但 ARP 表项失效，网关继续向旧 MAC 发包，EAGAIN 后 TCP 写缓冲阻塞

4. Modbus TCP 侧误判放大

轮询循环伪代码原实现：

while True:
    for s in sensors:
        c = ModbusTcpClient(s.ip, 502, timeout=1)
        c.connect()           # 每次新建
        r = c.read_holding_registers(0,3,unit=1)
        publish(...)
    time.sleep(poll_interval)

PoE 复位后变送器 IP 不变但 TCP 栈重启，半开连接堆积；pymodbus 默认不清理 socket，fd 泄漏。网关进程内存涨，GC 停顿，MQTT 循环被阻塞，云端心跳未按时发 → 服务端断开。

四、根因归纳

1. PoE 供电域不稳：非托管 PoE 交换机在温升/功率池不足时端口循环下电，终端 PD 重启，本地会话断裂。
2. 链路层恢复后状态未刷新：DHCP/ARP/路由缓存，边缘网关继续用旧会话。
3. 应用层保活不充分：MQTT keepalive 与 TCP 存活探针脱节，阻塞式采集循环抢占事件循环，断连检测滞后。
4. 重连风暴：on_disconnect 同步阻塞重连，退避缺失，连接未就绪即发报，触发云侧限流。
5. 离线判定双源叠加：云侧影子超时 + 本地采集失败，告警重复通知。

五、修复实践

1. PoE 供电层

• 更换可网管 PoE 交换机，关闭端口节能/自动功率回收，静态分配端口功率预算
• 分离供电域：关键机房 PoE 交换机独立回路 + DIN 导轨 DC-UPS，避免与柜内接触器共电源
• 终端侧：选双输入机型，或外部 PoE 分离器改本地 24VDC 备份，掉电时无缝切换（ORing 二极管）
• 柜内散热：风道隔离，PoE 交换机降额曲线留 50% 余量

2. 网络/主机层

• 边缘网关双网口：采集面与上行面分离，避免广播风暴时上行受阻
• systemd 服务 + Watchdog，进程挂死自动拉起
• 内核参数：

net.ipv4.tcp_keepalive_time=120
net.ipv4.tcp_keepalive_intvl=15
net.ipv4.tcp_keepalive_probes=5
net.ipv4.tcp_user_timeout=60000

• TCP_USER_TIMEOUT 套接字选项在应用层设置，使应用更快感知死亡连接

3. MQTT 客户端改造（paho v2）

import paho.mqtt.client as mqtt
from paho.mqtt.enums import CallbackAPIVersion

client = mqtt.Client(CallbackAPIVersion.VERSION2,
                    client_id=CLIENT_ID, transport="tcp")
client.tls_set_context(ctx)          # CA, cert reqs
client.reconnect_delay_set(min_delay=1, max_delay=30)

def on_connect(c, u, f, rc, props=None):
    c.subscribe(DOWN_TOPIC)
    # 上线即上报
    schedule_report()

def on_disconnect(c, u, rc, props=None):
    # 别在这里阻塞重连，paho 内部已启自动重连
    log.warning("disconnect rc=%s", rc)

client.on_connect = on_connect
client.on_disconnect = on_disconnect

# 后台线程跑网络循环
client.loop_start()

# 采集线程独立，通过队列交发
from queue import Queue
q = Queue(maxsize=1000)

def collector():
    while True:
        payload = poll_all()           # 非阻塞、带超时、连接池复用
        q.put(payload)
        time.sleep(POLL_INT)

def publisher():
    while True:
        payload = q.get()
        # 检查连接状态，未连则本地缓存
        if client.is_connected():
            info = client.publish(UP_TOPIC, json.dumps(payload), qos=1)
            info.wait_for_publish(timeout=2)   # 别无限阻塞
        else:
            local_cache(payload)
        q.task_done()

# 保活：paho 已按 keepalive=60 发 PINGREQ；额外应用级心跳事件上报
def report_heartbeat():
    while True:
        client.publish(f"$thing/up/event/{PRODUCT_ID}/{DEVICE_NAME}",
                       json.dumps({"method":"event_post","params":{"heartbeat":True}}), qos=0)
        time.sleep(30)

要点：

• reconnect_delay_set + loop_start 内置重连退避，勿在回调里自写重连
• 发布前判 is_connected()，失败落本地 SQLite，重连后补传（带去重 msg_id/时间戳）
• QoS1 + wait_for_publish 超时保护，防止发送缓冲阻塞拖垮采集线程
• 采集与网络分离线程/协程，别在 Modbus 轮询循环里调阻塞 MQTT 调用

4. Modbus TCP 会话管理

• 连接池/复用：每传感器长连接或短连接但设 socket 超时 + 显式 close()
• pymodbus v3+：ModbusTcpClient 内部复用，别每次 new；失败指数退避，单台故障隔离
• ARP/路由刷新：探测失败后强制刷新——arping 或重建客户端；DHCP 租约固定保留 IP，交换机端口安全绑定 MAC
• 采集失败计数 → 本地 DO 告警 + 云侧 event，别把瞬时失败当离线刷屏

5. 云侧配合

• IoT Explorer 设备生命周期：心跳超时离线阈值按实际保活调大余量（默认 120s 级），避免边缘抖动即翻状态
• 规则引擎消费时做 debounce：连续 N 次未上报再置离线，恢复后合并事件
• 大屏区分：链路状态（MQTTS connected / last_collect_ts age）+ 供电遥测，运维一眼分责

六、验证

• 故障注入：拉 PoE 交换机电源、端口 shutdown、NAT 会话超时、公网闪断
• 观测：边缘网关在 1–2 个 keepalive 周期内重连成功，补传缓存，云侧影子无长时间离线
• Wireshark：MQTTS 链路 PINGREQ/PINGRESP 正常，TCP keep-alive probe 在链路恢复后刷新 RTO
• 长期运行：一周无告警风暴，PoE 端口复位时本地采集缓存，恢复后增量补写 InfluxDB

七、经验沉淀

• PoE 场景长连接保活不能只盯应用层 MQTT keepalive，要分层：PHY/链路 → IP/ARP → TCP 存活 → MQTT 保活 → 应用级健康探测
• 边缘侧把供电状态、端口 up/down、DHCP 租约纳入监控，事件关联后再判定设备离线
• 非托管 PoE 交换机别上生产；可网管 + 静态功率 + 独立供电回路
• 代码层：网络循环与采集循环解耦，队列缓冲，退避重连，本地缓存补传，云侧去抖
• 排障时抓两端 pcap + 网关日志 + 交换机 PoE 日志，三角定位，别凭感觉换设备

八、附：最小可运行保活骨架（生产化前需补全）

# 伪代码级，落地时替换鉴权/物模型
import threading, time, json, paho.mqtt.client as mqtt

RUN = True
def net_loop():
    cli.loop_forever(retry_first_connection=True)   # 阻塞线程

def worker():
    while RUN:
        pl = collect()           # Modbus TCP, pooled, timeout-guarded
        if cli.is_connected():
            cli.publish(UP_TOPIC, json.dumps(pl), qos=1)
        else:
            cache.append(pl)
        if cli.is_connected() and cache:
            drain = cache[:]; cache.clear()
            for old in drain:
                cli.publish(UP_TOPIC, json.dumps(old), qos=1)
        time.sleep(POLL_INT)

t1 = threading.Thread(target=net_loop, daemon=True); t1.start()
t2 = threading.Thread(target=worker, daemon=True); t2.start()

别在 worker 里调 loop_start 又 loop_forever，二选一；多线程共享 cli 需确认 paho 线程安全边界，推荐单循环 + 异步回调。

物联网 #Modbus #TCP/IP #UDP #POE供电 #腾讯云 #Wireshark #Python #InfluxDB #以太网温湿度传感器 #网口温湿度变送器 #机房监控