首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >GUI 自动化的六次认知反转

GUI 自动化的六次认知反转

原创
作者头像
用户12907085
发布于 2026-11-18 14:59:52
发布于 2026-11-18 14:59:52
170
举报

当 AI 接管桌面:一次 Windows GUI 自动化登录的六次认知反转

实战背景:让 AI Agent 自动登录一个基于 Qt + CTP 的期货仿真交易客户端,用于盘后查看持仓。看似简单的"点几下鼠标",实际踩穿了 Windows 桌面自动化的六个经典陷阱。本文把每一次"以为对了其实错了"的认知反转完整记录,给出可复用的判据和代码骨架。全程仿真盘、未下任何委托、未写入任何明文口令。


为什么值得写

GUI 自动化是 AI Agent 落地最容易被低估的环节。命令行能做的事,Agent 早已游刃有余;但一旦要操作"人看的界面"——一个 Qt 登录框、一个全屏交易终端——大量在 CLI 世界成立的假设会集体失效。

这篇文章不讲概念,只讲一次真实调试中被实测推翻六次的过程。如果你正在做 RPA、桌面 Agent、客户端自动化,这六个坑大概率也在等你。


反转一:窗口截图 ≠ 界面真相

最初的假设:调用 PrintWindow 抓取目标窗口,就能看到登录框的实时状态。

翻车现场:Agent 反复报告"密码没填进去",但人工看屏幕,密码框早已是一串掩码圆点。代码读到的,和屏幕上显示的,是两个世界。

真相:PrintWindow 对某些 Qt/自绘窗口只返回静态启动画面缓存帧。四次抓图(点击前/后、两种输入方式)的 MD5 完全相同,ImageChops.difference().getbbox() 返回 None——零像素变化。这不是"输入没生效",是"截图是死的"。

判据与解法:

代码语言:javascript
复制
from PIL import ImageGrab, ImageChops
before = ImageGrab.grab()
# ... 执行点击/输入 ...
after = ImageGrab.grab()
diff = ImageChops.difference(before, after).getbbox()
# diff is None  =>  要么输入没生效,要么你在用会缓存的抓图方式

反转二:坐标对了,但点错了地方

假设:窗口 API 返回的 rect 是 (448,256)-(1088,656),宽 640;登录按钮在窗口内相对位置 (570, 222),换算成绝对坐标点击即可。

翻车现场:点击落在启动画面上,密码框毫无反应。

真相:系统启用了 125% DPI 缩放。窗口 API 返回的是逻辑坐标 640×400,而全屏抓图和鼠标 API 用的是物理坐标 800×500,比例 1.25。逻辑坐标直接喂给 SetCursorPos,等于把点击往左上角偏了 20%。

解法:进程一开始就声明 DPI 感知,之后所有坐标统一用物理像素。

代码语言:javascript
复制
import ctypes
ctypes.windll.shcore.SetProcessDpiAwareness(2)  # PER_MONITOR_AWARE_V2,必须在任何窗口操作前

反转三:控件拒绝了两种"标准"输入法

假设:密码输入用剪贴板 Ctrl+V,或者用 keybd_event 逐键发送,总有一种能成。

翻车现场:两种方法都无效。密码框始终显示占位符。更糟的是,其中一次输入落到了主界面的一个下拉框里,明文显示了口令——必须马上 ESC 清理,且绝不按回车(防止误触发任何下单动作)。

真相:这是较老的 Qt 自绘控件,对剪贴板粘贴和旧式 keybd_event 都不响应,只认 SendInput 的 Unicode 通道。

解法骨架:

代码语言:javascript
复制
import ctypes
from ctypes import wintypes

class KEYBDINPUT(ctypes.Structure):
    _fields_ = [('wVk', wintypes.WORD), ('wScan', wintypes.WORD),
                ('dwFlags', wintypes.DWORD), ('time', wintypes.DWORD),
                ('dwExtraInfo', ctypes.c_void_p)]
# 省略 UNION/INPUT 定义,标准写法

KEYEVENTF_UNICODE = 0x0004
def send_unicode(ch):
    code = ord(ch)
    for flags in (KEYEVENTF_UNICODE, KEYEVENTF_UNICODE | KEYEVENTF_KEYUP):
        inp = INPUT(type=1, u=U(ki=KEYBDINPUT(0, code, flags, 0, None)))
        user32.SendInput(1, ctypes.byref(inp), ctypes.sizeof(INPUT))
        time.sleep(0.012)  # 太快会丢字符,12ms 实测稳定

反转四:进程一启动就消失

假设:subprocess.Popen 启动客户端,父子进程都在,任务结束后客户端还开着。

翻车现场:用户两次反馈"客户端根本没打开"。进程列表里空空如也。

真相:在当前 Agent 执行环境里,凡是由 shell / Python Popen 分离出去的子进程,父命令一结束就被环境回收——不是崩溃,是生命周期被连带清理。

解法:注册 Windows 计划任务,让系统的 svchost 直接拉起进程,父级变成系统服务,不再随会话结束被回收。

代码语言:javascript
复制
$trigger = New-ScheduledTaskTrigger -AtLogOn -User $env:USERNAME
$trigger.Delay = 'PT12S'
$settings = New-ScheduledTaskSettingsSet -ExecutionTimeLimit (New-TimeSpan -Hours 0) `
  -MultipleInstances IgnoreNew -StartWhenAvailable
Register-ScheduledTask -TaskName 'AutoLogin' -Action $action -Trigger $trigger `
  -Settings $settings -Principal $principal -Force

反转五:绝对坐标撑不过一次窗口漂移

假设:密码框物理坐标 (1213, 544),登录按钮 (1213, 666),写死就行。

翻车现场:换一次启动,窗口位置变了,点击全部落空。

解法:校准一次窗口 rect,之后用相对坐标比例定位,窗口怎么漂移都自适应。

代码语言:javascript
复制
PWD_REL = (0.816, 0.448)   # (1213-560)/(1360-560), (544-320)/(820-320)
BTN_REL = (0.816, 0.692)
def rel_xy(rect, rel):
    l, t, r, b = rect
    return (l + (r-l)*rel[0], t + (b-t)*rel[1])

反转六:自动化建成后,最大的风险是它自己

假设:自动登录建好了,每天开机自动进主界面,万事大吉。

翻车现场:这个客户端占用一个单实例交易席位。自动登录 executed 之后,程序化交易会话就登不进去了——同一个投资者账号只允许一个交易会话,第二个登录被柜台拒绝。自动化解决了一个问题,制造了一个更严重的问题。

真相:自动化的终点不是"能做",而是"知道什么时候不做"。

解法:把席位互斥做成脚本内的硬判据,而不是文档里的一句提醒。

代码语言:javascript
复制
CTP_SESSION_SCRIPTS = ('ctp_grid_session.py', 'portfolio_executor.py',
                       'trading_daemon.py', 'trader_desk.py', 'exec_drill.py')
CTP_FRONT_PORTS = {30001, 30003, 30012, 30013}

def ctp_occupied():
    for c in psutil.net_connections(kind='tcp'):
        if c.status != psutil.CONN_ESTABLISHED or not c.raddr or not c.pid:
            continue
        if c.raddr.port not in CTP_FRONT_PORTS:
            continue
        try:
            name = psutil.Process(c.pid).name()
            cmd = ' '.join(psutil.Process(c.pid).cmdline()).lower()
        except Exception:
            continue
        if 'python' in name.lower() and any(s in cmd for s in CTP_SESSION_SCRIPTS):
            return True   # 有交易会话在跑,客户端主动让位
    return False

三个设计要点:

  1. 判据用"到前置的 TCP 连接",不用"进程是否存在"。交易脚本常用相对路径启动,命令行里没有项目根目录,按路径匹配会漏掉;而 TCP 连接是柜台的客观事实,怎么启动都逃不掉。实测这个纯 psutil 检测只要 4ms,比调 PowerShell 查连接表快近三个数量级,也不引入额外进程。
  2. 调度器不算"操作任务"。常驻调度器(如 grid_autopilot)待命但不建会话,若把它算作占用,收盘后就永远登录不了。白名单只收录真正建会话的脚本。
  3. 区分人工查看与自动触发。提供 --force 供人工盘中强制登录;自动触发则一律让位。收盘后单独设一个定时任务,用 --wait-ctp-free 等交易会话自然退出(最多 20 分钟)再登录,绝不抢占。

一句话总结:Agent 的高级能力不是"把事情做完",而是"在正确的时机主动不做"。

六次反转速查表

#

错误假设

真相

可复用判据

1

窗口截图是实时的

PrintWindow 可能返回静态缓存帧

全屏抓图 + 像素 bbox 先验真

2

窗口坐标可直接用

DPI 125% 导致坐标错位

SetProcessDpiAwareness(2),统一物理像素

3

Ctrl+V / keybd_event 通用

老 Qt 控件只认 SendInput Unicode

Unicode 通道 + 12ms 间隔

4

Popen 子进程常驻

分离进程随父命令被回收

计划任务 svchost 直拉

5

绝对坐标一劳永逸

窗口位置会漂移

相对坐标比例 + 稳定性确认

6

自动化越全自动越好

会与交易会话抢单实例席位

psutil 4ms 席位检测,主动让位


安全边界(不可妥协)

  • 全程 SimNow 仿真盘,未下任何委托、未碰真钱。
  • 口令与启动 token 存 Windows 凭据库(DPAPI 加密,绑定当前用户),脚本零明文;从 stdin 传入,不进命令行、不进日志。
  • 事后全盘 grep 确认无明文口令落盘。
  • 席位状态改变属事实性决策(停掉网格 = 动真实账本),脚本只做"让位不登录",绝不自行杀交易进程。

结语:知常曰明

道德经第十六章:「知常曰明,不知常,妄作凶。」

六个坑的共同本质,是把"我以为的常态"当成了系统的真实常态:以为截图实时、以为坐标通用、以为输入通用、以为进程常驻、以为窗口不动、以为自动化越多越好。每一次翻车,都是一次"不知常"。

真正的快,不是把每步操作压到极限——真正不可压缩的 24 秒柜台握手,再优化也没有意义——而是认清哪些是客观节奏、哪些是自己的妄为,然后把能压的 3 秒压到底。

这大概就是 AI Agent 从"能执行"走向"可托付"的分界线。


本文所有技术细节来自真实调试记录,代码片段为可复用骨架,已脱敏处理(不含任何账号、口令、token)。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 当 AI 接管桌面:一次 Windows GUI 自动化登录的六次认知反转
    • 为什么值得写
    • 反转一:窗口截图 ≠ 界面真相
    • 反转二:坐标对了,但点错了地方
    • 反转三:控件拒绝了两种"标准"输入法
    • 反转四:进程一启动就消失
    • 反转五:绝对坐标撑不过一次窗口漂移
    • 反转六:自动化建成后,最大的风险是它自己
    • 六次反转速查表
    • 安全边界(不可妥协)
    • 结语:知常曰明
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档