GUI Agent 如何执行跨应用的操作？

1. 统一视觉接口

• 不依赖 DOM、Accessibility API 或系统级 Hook，仅通过屏幕截图即可理解任意应用的界面
• 支持跨桌面软件、浏览器、移动 App、游戏界面、3D 应用等多种环境

2. 任务分解与编排

• 将跨应用的复杂任务分解为多个子任务，每个子任务在单一应用内执行
• 通过剪贴板、文件系统等机制在不同应用间传递数据
• 记忆模块记录跨应用的操作上下文，确保任务连贯性

3. 典型跨应用场景

• 办公自动化：在 OA 系统填写申请 → 在浏览器查询信息 → 在邮件客户端发送通知
• 数据搬运：从 ERP 系统导出数据 → 在 Excel 中处理 → 上传至云盘
• 电商运营：在卖家后台修改价格 → 在浏览器抓取竞品数据 → 在表格中生成分析报告