# 一次四十分钟的远程桌面批处理复盘

场景：一台腾讯云 Windows 实例，通过 RDP 连着；里面装着 `dsh-pilot`（0.7.0，129 星，MIT，仅 Windows），模型拿到的能力是三个工具——抓真实屏幕、单步操控、批量操控。

目标是一段四十分钟的会话里跑完三件事：在 AutoCAD 里画一块带孔和标注的机械板、在 LibreOffice Calc 里改一列表头、在 Blender 里从零建一个模型。

这篇是复盘，不是教程。重点在「时间花在哪」和「哪一步差点翻车」。

## 0–5 分钟：先看清楚有什么

第一个动作不是点击，是 `desktop_control { action: "windows" }`——列出所有可见顶层窗口、边界、最小化状态、哪个在前台。

这一步在远程桌面里比本地更重要：RDP 重连之后窗口顺序会变，你以为在前台的那个可能已经被挤到后面。先枚举，再决定要不要 `focus`，能省掉一次「点进了隔壁窗口」。

确认完，抓一张 `screen_view` 作为基线。返回里除了图，还有每个显示器的边界、光标位置、前台窗口，以及一个 `<delivered_scale>`——如果宿主把图压小了，它会给出乘数。在 2560×1600、150% 缩放的经典配置下，这个乘数在 1.59 左右，忘记换算就会「总是差一点」。

## 5–12 分钟：AutoCAD，走它自己的命令行

第一件事看起来最像「视觉任务」，实际做起来最不像。

模型没有去找界面上的按钮，而是直接往 AutoCAD 的命令行里敲：`REC` → `0,0` → `240,150`，然后内轮廓、五个圆孔、中心线、两道线性标注，最后缩放到范围。**AutoCAD 里什么都没装**——用的全是它自己的命令。

这解释了为什么这类任务表现好：软件本身有确定性的输入接口时，桌面自动化就退化成「把字符串敲进正确的框」，不需要在像素里找按钮。

花了 7 分钟，其中大半是在确认每一次回车之后命令行确实回到了就绪状态。这是一条经验：**输入之前先确认接收方就绪**，比输入之后截图验证便宜得多。

## 12–25 分钟：Calc，一次调用改完一张表

第二件事是改一列表头。这一步用 `desktop_sequence`，整串动作只花一次往返：

```
focus 工作簿 → 移动指针到 C1 → 点击 → 粘贴「Q3 收入」→ 回车 → Ctrl+S
```

对比一下单步调用的代价：同一个五步任务（聚焦 → 点输入框 → 打字 → 回车 → 看结果），只用 DSH 时要 5 次往返、4–5 张截图；批量化之后是 1 次往返、1 张结束帧。省的不是点击时间，是往返次数。

打字走的是「一次粘贴」——剪贴板设置、Ctrl+V、恢复剪贴板。所以应用看到的是一次插入，而不是逐字符击键。多行文本和中文都靠这条路，这也是为什么中文表头没出问题。

这一步 13 分钟，慢在保存：Ctrl+S 之后弹出格式确认对话框，模型在结束帧里看到它，才决定下一步点「使用 CSV 格式」。**如果只用 `capture: "none"` 省 token，这一步会瞎**。

## 25–38 分钟：Blender，无显卡的那次

第三件事是从零建一个 3D 模型：清空视口 → 加一个立方体 → `Ctrl+1`、`Ctrl+3` 两级细分把它磨成球 → 轨道旋转检查。

这台实例**没有显卡**，靠 Mesa 的软件 OpenGL 跑 Blender 4.2，而那套环境是模型自己在会话里配好的。这一段最能说明「桌面自动化」与「API 自动化」的边界：没有 API 可调的东西，才需要手。

中途有一次险情：模型在视口里做轨道旋转时连续调用了多次拖拽，其中一次拖到一半时误触了 Esc（我在看画面，想验证中断是否真的有效）。结果是批次在当步停下并返回「用户按了 Esc，批次停在这里」，鼠标按键在 `finally` 里被松开，没有留下按住状态。

这一点值得记：**中断后最怕的不是没停，而是停在了「按键按住」的状态**。之后你点任何地方都变成拖拽，且很难解释。

## 38–40 分钟：盘点

三件事都完成。回头看时间分布：

| 阶段 | 耗时 | 主要成本 |
|---|---|---|
| 枚举窗口 + 基线截图 | 5 分钟 | 人确认 |
| AutoCAD 命令行绘制 | 7 分钟 | 每步就绪确认 |
| Calc 批量改表 | 13 分钟 | 弹窗判断 |
| Blender 建模 | 13 分钟 | 拖拽与视口 |
| 盘点 | 2 分钟 | — |

动作本身的耗时几乎可以忽略：常驻 worker 下单次动作 6–12 毫秒、截图约 0.5 秒。**时间全花在「判断下一步做什么」和「确认上一步真的发生了」上。**

同类插件的实测记录与能力边界，可以在 [DeepSeek Harness Hub 插件清单](https://dpharness.com/top?utm_source=txyun&utm_medium=article) 里对照。

## 三条复盘结论

**第一，有确定输入接口的软件优先走接口。** AutoCAD 命令行那一段最顺，因为它不需要在像素里找目标。

**第二，省 token 要谨慎。** `capture: "none"` 能省一次附图，但代价是模型看不到「保存后弹了什么」。在会弹窗的流程里，这个省法很贵。

**第三，中断要专门测一次。** 我在中途故意按了 Esc，才确认「停在当前步 + 松开按键」这两件事都成立。如果不测，这条路径只在真出事那天才被验证。

## 一个没解决的小问题

RDP 断开之后，物理会话进入锁屏，截图拿到的是锁屏界面。这一次会话全程保持连接，所以没受影响；但如果要做无人值守的长任务，这条路目前走不通。它属于 Windows 会话行为，不是插件能修的。

## 总结

四十分钟里真正被「自动化」掉的是重复的点击与击键，被保留下来的是判断与确认，这个比例大概就是这类工具当前的真实水平；更多桌面类插件的实测记录见 [DeepSeek Harness Hub 插件清单](https://dpharness.com/top?utm_source=txyun&utm_medium=article)。

## 适合与不适合

**适合**：有明确「重复但需要看着」的桌面流程的人；软件本身带命令行或脚本接口、但入口仍是图形界面的场景；愿意在会话中保留人工判断的人。

**不适合**：想彻底无人值守的人——锁屏、弹窗、权限都会拦住；纯 API 能完成的任务，用桌面自动化是降级方案；对「模型能看见整个屏幕」这件事无法接受的组织，这类工具的前提就是全屏可见。

标签：dsh-pilot、DeepSeek Harness、腾讯云、实战复盘、桌面自动化

本文由 DeepSeek Harness Hub 自动整理，数据来源于插件详情页。


场景：一台腾讯云 Windows 实例，通过 RDP 连着；里面装着 dsh-pilot（0.7.0，129 星，MIT，仅 Windows），模型拿到的能力是三个工具——抓真实屏幕、单步操控、批量操控。

一次四十分钟的远程桌面批处理复盘

人工智能

40分钟远程桌面实战复盘：用DSH-Pilot在AutoCAD命令行绘制机械板、LibreOfficeCalc批量改表、Blender建模，时间全花在判断与确认而非点击。软件接口优先、谨慎省token、中断需实测，适合需人工判断的桌面流程，不适合无人值守。

代码解释

Windows

快速部署LLM、AI绘画等应用,助你玩转AIGC！


文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

一次四十分钟的远程桌面批处理复盘-腾讯云开发者社区-腾讯云

一次四十分钟的远程桌面批处理复盘

一次四十分钟的远程桌面批处理复盘

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐