WorkBuddy 自动化看门狗实录：心跳是新鲜的，进程其实早就死了

背景：我的 WorkBuddy 工作区里跑着一条本地服务 + 看门狗的自愈链路。服务每 30 分钟重建一次数据页，看门狗每 45 秒探活一次，服务挂了就自动拉起来。这套东西上线后我一度很放心，直到发现一个反直觉的问题：看门狗的心跳文件一直是新鲜的，但看门狗进程本身早就死了。

坑：心跳新鲜 ≠ 进程活着

最初判断看门狗是否在跑的逻辑非常朴素：读心跳文件（里面写的是 PID + 时间戳），时间戳距今不超过 60 秒就算"活着"。测试那天一切正常——我手动杀掉服务，55 秒后看门狗把它拉了回来，心跳也一直在更新。

但第二天再检查，发现服务明明又挂了很久，却没有任何进程来救它。而心跳文件显示"60 秒内刚写过"。

排查后才发现原因：心跳是上一次循环写下的，进程死掉之后心跳文件不会再更新，但它也不会自己变旧得那么快——更关键的是，有些死法根本走不到"写心跳"那一行。 比如看门狗在两次循环之间被外部回收（在我的环境里，沙盒会在两次工具调用之间回收我起的子进程），此时它既不会抛异常写日志，也不会把心跳删掉，文件就停在了"最后一句遗言"，看起来依然新鲜。

还有一个更隐蔽的场景：进程变成了僵尸状态——进程对象还在，但已经不干活了。只看心跳时间戳，这两种死法全都测不出来。

修法：心跳 + PID 双重探活

正确的做法是两层验证：

1. 心跳时间戳新鲜（快筛）；
2. 心跳里记录的 PID 真实存活（实锤）。

在 Windows 上可以用 ctypes 调 OpenProcess 做最小成本的进程探活，不依赖 tasklist 这类外部命令：

import ctypes

PROCESS_QUERY_LIMITED_INFORMATION = 0x1000

def pid_alive(pid: int) -> bool:
    if not pid or pid <= 0:
        return False
    kernel32 = ctypes.windll.kernel32
    h = kernel32.OpenProcess(PROCESS_QUERY_LIMITED_INFORMATION, False, pid)
    if h:
        kernel32.CloseHandle(h)
        return True
    return False

然后判断逻辑改成"与"的关系：

def watchdog_alive(heartbeat_path: str, max_age: int = 90) -> bool:
    try:
        text = open(heartbeat_path, encoding="utf-8").read().strip()
        pid_str, ts_str = text.split()
        age = time.time() - float(ts_str)
        if age > max_age:
            return False          # 心跳过期，肯定死了
        return pid_alive(int(pid_str))  # 心跳新鲜，还要 PID 真在
    except Exception:
        return False

注意 OpenProcess 用的是 PROCESS_QUERY_LIMITED_INFORMATION（0x1000）而不是 PROCESS_ALL_ACCESS——前者权限要求低，几乎不会被系统拦；后者在很多受限环境里直接拿不到句柄，会误判成"进程死了"，反过来触发重复拉起，把系统搞得更乱。

另一个连带教训：别让"复活逻辑"依赖环境假设

修完探活之后，我还踩了同一主题的第二个坑：验证自愈时，我把"杀服务 → 等看门狗拉回 → 断言 HTTP 200"写成了三个步骤，跨了两次工具调用。结果每次测到一半子进程就被沙盒回收，怎么测都是"自愈失败"。

最后是把整条验证链写进同一条命令里才测通：杀服务、等 55 秒、探活、断言恢复，一气呵成。这不是看门狗的 bug，是测试环境的特性——但如果不搞清楚，你会花一整晚去修一个根本不存在的问题。

小结

三条可以带走的结论：

1. 任何"最后状态"型信号（心跳文件、最后日志时间、最后一次成功上报）都只能证明"过去活过"，不能证明"现在活着"。 必须叠加一个实时的、针对进程本体的探活。
2. Windows 下用 ctypes.windll.kernel32.OpenProcess 做进程探活，轻量、无依赖、权限要求低。
3. 在有沙盒/回收机制的环境里做自愈测试，整条链路必须在同一次执行里完成，否则测的不是自愈，是回收器。

这套"心跳 + PID"双探活上线后，服务又挂过几次，看门狗全部在 45 秒内拉回，误判为零。代码不到 30 行，但省掉的，是每天早上打开页面发现数据停在昨天的沮丧。