实战背景:让 AI Agent 自动登录一个基于 Qt + CTP 的期货仿真交易客户端,用于盘后查看持仓。看似简单的"点几下鼠标",实际踩穿了 Windows 桌面自动化的六个经典陷阱。本文把每一次"以为对了其实错了"的认知反转完整记录,给出可复用的判据和代码骨架。全程仿真盘、未下任何委托、未写入任何明文口令。
GUI 自动化是 AI Agent 落地最容易被低估的环节。命令行能做的事,Agent 早已游刃有余;但一旦要操作"人看的界面"——一个 Qt 登录框、一个全屏交易终端——大量在 CLI 世界成立的假设会集体失效。
这篇文章不讲概念,只讲一次真实调试中被实测推翻六次的过程。如果你正在做 RPA、桌面 Agent、客户端自动化,这六个坑大概率也在等你。

最初的假设:调用 PrintWindow 抓取目标窗口,就能看到登录框的实时状态。
翻车现场:Agent 反复报告"密码没填进去",但人工看屏幕,密码框早已是一串掩码圆点。代码读到的,和屏幕上显示的,是两个世界。
真相:PrintWindow 对某些 Qt/自绘窗口只返回静态启动画面缓存帧。四次抓图(点击前/后、两种输入方式)的 MD5 完全相同,ImageChops.difference().getbbox() 返回 None——零像素变化。这不是"输入没生效",是"截图是死的"。
判据与解法:
from PIL import ImageGrab, ImageChops
before = ImageGrab.grab()
# ... 执行点击/输入 ...
after = ImageGrab.grab()
diff = ImageChops.difference(before, after).getbbox()
# diff is None => 要么输入没生效,要么你在用会缓存的抓图方式
假设:窗口 API 返回的 rect 是 (448,256)-(1088,656),宽 640;登录按钮在窗口内相对位置 (570, 222),换算成绝对坐标点击即可。
翻车现场:点击落在启动画面上,密码框毫无反应。
真相:系统启用了 125% DPI 缩放。窗口 API 返回的是逻辑坐标 640×400,而全屏抓图和鼠标 API 用的是物理坐标 800×500,比例 1.25。逻辑坐标直接喂给 SetCursorPos,等于把点击往左上角偏了 20%。
解法:进程一开始就声明 DPI 感知,之后所有坐标统一用物理像素。
import ctypes
ctypes.windll.shcore.SetProcessDpiAwareness(2) # PER_MONITOR_AWARE_V2,必须在任何窗口操作前假设:密码输入用剪贴板 Ctrl+V,或者用 keybd_event 逐键发送,总有一种能成。
翻车现场:两种方法都无效。密码框始终显示占位符。更糟的是,其中一次输入落到了主界面的一个下拉框里,明文显示了口令——必须马上 ESC 清理,且绝不按回车(防止误触发任何下单动作)。
真相:这是较老的 Qt 自绘控件,对剪贴板粘贴和旧式 keybd_event 都不响应,只认 SendInput 的 Unicode 通道。

解法骨架:
import ctypes
from ctypes import wintypes
class KEYBDINPUT(ctypes.Structure):
_fields_ = [('wVk', wintypes.WORD), ('wScan', wintypes.WORD),
('dwFlags', wintypes.DWORD), ('time', wintypes.DWORD),
('dwExtraInfo', ctypes.c_void_p)]
# 省略 UNION/INPUT 定义,标准写法
KEYEVENTF_UNICODE = 0x0004
def send_unicode(ch):
code = ord(ch)
for flags in (KEYEVENTF_UNICODE, KEYEVENTF_UNICODE | KEYEVENTF_KEYUP):
inp = INPUT(type=1, u=U(ki=KEYBDINPUT(0, code, flags, 0, None)))
user32.SendInput(1, ctypes.byref(inp), ctypes.sizeof(INPUT))
time.sleep(0.012) # 太快会丢字符,12ms 实测稳定假设:subprocess.Popen 启动客户端,父子进程都在,任务结束后客户端还开着。
翻车现场:用户两次反馈"客户端根本没打开"。进程列表里空空如也。
真相:在当前 Agent 执行环境里,凡是由 shell / Python Popen 分离出去的子进程,父命令一结束就被环境回收——不是崩溃,是生命周期被连带清理。
解法:注册 Windows 计划任务,让系统的 svchost 直接拉起进程,父级变成系统服务,不再随会话结束被回收。
$trigger = New-ScheduledTaskTrigger -AtLogOn -User $env:USERNAME
$trigger.Delay = 'PT12S'
$settings = New-ScheduledTaskSettingsSet -ExecutionTimeLimit (New-TimeSpan -Hours 0) `
-MultipleInstances IgnoreNew -StartWhenAvailable
Register-ScheduledTask -TaskName 'AutoLogin' -Action $action -Trigger $trigger `
-Settings $settings -Principal $principal -Force假设:密码框物理坐标 (1213, 544),登录按钮 (1213, 666),写死就行。
翻车现场:换一次启动,窗口位置变了,点击全部落空。
解法:校准一次窗口 rect,之后用相对坐标比例定位,窗口怎么漂移都自适应。
PWD_REL = (0.816, 0.448) # (1213-560)/(1360-560), (544-320)/(820-320)
BTN_REL = (0.816, 0.692)
def rel_xy(rect, rel):
l, t, r, b = rect
return (l + (r-l)*rel[0], t + (b-t)*rel[1])
假设:自动登录建好了,每天开机自动进主界面,万事大吉。
翻车现场:这个客户端占用一个单实例交易席位。自动登录 executed 之后,程序化交易会话就登不进去了——同一个投资者账号只允许一个交易会话,第二个登录被柜台拒绝。自动化解决了一个问题,制造了一个更严重的问题。
真相:自动化的终点不是"能做",而是"知道什么时候不做"。
解法:把席位互斥做成脚本内的硬判据,而不是文档里的一句提醒。
CTP_SESSION_SCRIPTS = ('ctp_grid_session.py', 'portfolio_executor.py',
'trading_daemon.py', 'trader_desk.py', 'exec_drill.py')
CTP_FRONT_PORTS = {30001, 30003, 30012, 30013}
def ctp_occupied():
for c in psutil.net_connections(kind='tcp'):
if c.status != psutil.CONN_ESTABLISHED or not c.raddr or not c.pid:
continue
if c.raddr.port not in CTP_FRONT_PORTS:
continue
try:
name = psutil.Process(c.pid).name()
cmd = ' '.join(psutil.Process(c.pid).cmdline()).lower()
except Exception:
continue
if 'python' in name.lower() and any(s in cmd for s in CTP_SESSION_SCRIPTS):
return True # 有交易会话在跑,客户端主动让位
return False三个设计要点:
grid_autopilot)待命但不建会话,若把它算作占用,收盘后就永远登录不了。白名单只收录真正建会话的脚本。--force 供人工盘中强制登录;自动触发则一律让位。收盘后单独设一个定时任务,用 --wait-ctp-free 等交易会话自然退出(最多 20 分钟)再登录,绝不抢占。一句话总结:Agent 的高级能力不是"把事情做完",而是"在正确的时机主动不做"。
# | 错误假设 | 真相 | 可复用判据 |
|---|---|---|---|
1 | 窗口截图是实时的 | PrintWindow 可能返回静态缓存帧 | 全屏抓图 + 像素 bbox 先验真 |
2 | 窗口坐标可直接用 | DPI 125% 导致坐标错位 | SetProcessDpiAwareness(2),统一物理像素 |
3 | Ctrl+V / keybd_event 通用 | 老 Qt 控件只认 SendInput Unicode | Unicode 通道 + 12ms 间隔 |
4 | Popen 子进程常驻 | 分离进程随父命令被回收 | 计划任务 svchost 直拉 |
5 | 绝对坐标一劳永逸 | 窗口位置会漂移 | 相对坐标比例 + 稳定性确认 |
6 | 自动化越全自动越好 | 会与交易会话抢单实例席位 | psutil 4ms 席位检测,主动让位 |
grep 确认无明文口令落盘。道德经第十六章:「知常曰明,不知常,妄作凶。」
六个坑的共同本质,是把"我以为的常态"当成了系统的真实常态:以为截图实时、以为坐标通用、以为输入通用、以为进程常驻、以为窗口不动、以为自动化越多越好。每一次翻车,都是一次"不知常"。
真正的快,不是把每步操作压到极限——真正不可压缩的 24 秒柜台握手,再优化也没有意义——而是认清哪些是客观节奏、哪些是自己的妄为,然后把能压的 3 秒压到底。
这大概就是 AI Agent 从"能执行"走向"可托付"的分界线。
本文所有技术细节来自真实调试记录,代码片段为可复用骨架,已脱敏处理(不含任何账号、口令、token)。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。