POE 供电下的 TCP 连接保活：网口温湿度传感器因心跳超时掉线的排查实录

❌ 网线质量问题 → 换了六类线，照样掉
❌ 交换机端口故障 → 换了端口，照样掉
❌ PoE 供电不足 → 交换机 PoE 预算还剩 60%，单口实际功耗 2.3W（标称 802.3af 15.4W）
❌ IP 冲突 → 静态 IP + DHCP 保留，无冲突
❌ 广播风暴 → 监控 VLAN 隔离，流量正常
❌ 传感器固件 Bug → 升级到最新固件，照样掉

正常流程：
  传感器上电 → 建立 TCP 连接 → 等待 Modbus 请求 → 回复响应 → 保持连接

异常场景：
  网络抖动 → TCP 包丢失 → 重传超时 → 连接进入"半开"状态
  传感器端认为连接还在
  服务器端认为连接已断开（或反之）
  → 传感器不再接受新连接（端口资源耗尽）
  → 或者传感器还在发数据，但服务器已关闭连接
  → 表现为"心跳超时"

时间线：
  T0: 传感器与服务器建立 TCP 连接
  T1: 网络抖动，中间路由器丢了一个包
  T2: 服务器 TCP 栈重传，成功恢复 → 服务器认为连接正常
  T3: 传感器端因为 LWIP 内存不足/堆溢出，TCP PCB 状态机卡死
  T4: 传感器不再响应任何 TCP 报文
  T5: 服务器发送下一个 Modbus 请求 → 超时
  T6: 服务器重试 3 次 → 全部超时
  T7: 服务器关闭连接，标记设备离线
  T8: 传感器仍然"认为"连接存在，但已经不响应
  T9: 下次传感器重启/端口重置前，这个连接永远卡死

网络链路因为交换机 STP 收敛 / 端口协商变化而短暂中断
  → PoE 供电没断（因为供电和数据是分开协商的）
  → 传感器 MCU 一直跑着
  → TCP 连接因为链路中断而半开
  → MCU 不知道链路已经恢复
  → 连接永远卡死
  → 人眼看交换机端口灯还亮着（PoE 还在供）

端口连续 5 分钟无流量 → 降低 PoE 供电功率
  → 传感器 MCU 电压波动
  → LWIP 协议栈内存分配失败
  → TCP 连接异常

PoE 供电协商周期（约 5 分钟一次）
  → 短暂电压跌落（微秒级）
  → 对 MCU 没影响
  → 但对 PHY 芯片的链路状态机有影响
  → 链路重新协商
  → TCP 连接中断

No.  Time        Source        Destination   Protocol Info
1    10:23:01    192.168.10.5  192.168.10.1 TCP      502 → 54321 [SYN]
2    10:23:01    192.168.10.1  192.168.10.5 TCP      54321 → 502 [SYN, ACK]
3    10:23:01    192.168.10.5  192.168.10.1 TCP      502 → 54321 [ACK]
4    10:23:02    192.168.10.1  192.168.10.5 ModbusTCP Read Holding Registers
5    10:23:02    192.168.10.5  192.168.10.1 ModbusTCP Response
...（正常通信约 3 天）
6    14:56:33    192.168.10.1  192.168.10.5 TCP      [TCP Retransmission] ...
7    14:56:34    192.168.10.1  192.168.10.5 TCP      [TCP Retransmission] ...
8    14:56:36    192.168.10.1  192.168.10.5 TCP      [TCP Retransmission] ...
9    14:56:40    192.168.10.1  192.168.10.5 TCP      [TCP Retransmission] ...
10   14:56:48    192.168.10.1  192.168.10.5 TCP      [TCP Retransmission] ...
...（重传持续约 15 分钟，然后停止）

System Uptime: 3 days 14 hours 32 minutes
TCP Connections: 1 (ESTABLISHED)
Free Heap: 4,128 bytes (总 16KB)
TCP Retransmission Queue: 0

1. 建立 Modbus TCP 连接
2. 正常通信 5 分钟
3. 交换机端口 shutdown（模拟链路中断）
4. 等待 30 秒
5. 交换机端口 no shutdown
6. 观察传感器行为

链路恢复后，传感器不响应任何 TCP 连接请求
  → 用 nmap 扫描 502 端口：filtered
  → 但 ICMP ping 通（IP 层正常）
  → 说明 TCP 层卡死，IP 层还活着

import socket

def create_modbus_socket(host, port):
    sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    sock.setsockopt(socket.SOL_SOCKET, socket.SO_KEEPALIVE, 1)

    # Linux 系统
    sock.setsockopt(socket.IPPROTO_TCP, socket.TCP_KEEPIDLE, 30)   # 30s 无数据开始探测
    sock.setsockopt(socket.IPPROTO_TCP, socket.TCP_KEEPINTVL, 10)  # 每 10s 探测一次
    sock.setsockopt(socket.IPPROTO_TCP, socket.TCP_KEEPCNT, 3)     # 3 次失败断开

    sock.connect((host, port))
    return sock

服务器端 TCP 栈会定期发送 Keepalive 探测包
如果传感器不响应 3 次 → 服务器主动关闭连接
下次轮询时重新建立连接 → 恢复正常

class ModbusTCPClient:
    def __init__(self, host, port, timeout=5, heartbeat_interval=30):
        self.host = host
        self.port = port
        self.timeout = timeout
        self.heartbeat_interval = heartbeat_interval
        self.last_response_time = time.time()
        self.sock = None
        self.connect()

    def connect(self):
        self.sock = create_modbus_socket(self.host, self.port)
        self.last_response_time = time.time()

    def read_registers(self, addr, count):
        try:
            req = self.build_read_request(addr, count)
            self.sock.send(req)
            resp = self.sock.recv(256)
            self.last_response_time = time.time()
            return self.parse_response(resp)
        except (socket.timeout, socket.error) as e:
            self.handle_error(e)

    def handle_error(self, error):
        """连接异常 → 关闭旧连接 → 重建"""
        logger.warning(f"{self.host}: {error}, reconnecting...")
        try:
            self.sock.close()
        except:
            pass
        time.sleep(1)
        self.connect()

    def check_heartbeat(self):
        """定时心跳检查"""
        if time.time() - self.last_response_time > self.heartbeat_interval:
            # 发送一个无害的读请求（读设备 ID）
            try:
                self.read_registers(0x00, 1)
            except:
                self.handle_error(Exception("heartbeat failed"))

# Cisco 交换机示例
interface GigabitEthernet0/1
 description POE-Temp-Sensor-01
 switchport access vlan 100
 spanning-tree portfast
 spanning-tree bpduguard enable
# 关键配置：
 udld port aggressive          # 单向链路检测，链路异常自动 shutdown
 storm-control broadcast level pps 100  # 广播风暴抑制
# PoE 配置：
 power inline static max 4000  # 固定供电功率，不要用 auto

# 关闭 PoE 节能
no energywise
# 或者
power efficient-ethernet auto   # 如果用 EEE，确保不会中断供电

def poe_port_reset(switch_ip, port, community):
    """通过 SNMP 关闭再打开 PoE 端口"""
    # PoE 端口控制 OID（Cisco）
    pethPsePortAdminEnable = f'1.3.6.1.2.1.105.1.1.1.3.1.{port}'

    # 关闭 PoE
    set_snmp(pethPsePortAdminEnable, 2, switch_ip, community)  # 2 = shutdown
    time.sleep(5)

    # 打开 PoE
    set_snmp(pethPsePortAdminEnable, 1, switch_ip, community)  # 1 = enable

    logger.info(f"PoE port {port} reset completed")

# 每天凌晨 3:00 执行
schedule.every().day.at("03:00").do(
    poe_port_reset, "192.168.10.254", port=5, community="private"
)

PoE + TCP 的组合，把"物理供电"和"网络连接"解耦了：
  - 物理供电一直有（PoE 灯亮）
  - 网络连接可能已经断了（TCP 栈卡死）
  - 人眼看到的是"灯亮着，应该没问题"
  - 实际是"设备活着，但 TCP 死了"

解决思路：
  1. 服务器端：TCP Keepalive + 应用层心跳 + 超时重建
  2. 交换机侧：静态 PoE 供电 + UDLD + 关闭节能
  3. 传感器端：选支持 Keepalive 的型号（或支持 MQTT）
  4. 应急：定时 PoE 端口重启