# WorkBuddy 从零跑通网页数据采集：我用 AI 助手把"手工复制粘贴 40 分钟"压缩到 3 分钟

## 一、先说痛点：我不是缺工具，我是缺"手"

我做的是企业级应用架构，日常有一类活特别烦：**定期从几个网页上把数据抄下来，整理成表**。比如给家里小孩挑书包要对比各家价格和厂家、比如整理某个话题下的信息汇总。

这类活的技术含量约等于零，但时间成本极高：

- 打开页面 → 找列表 → 一条条复制 → 贴进表格 → 再去下一家
- 页面一改版，手工流程全部重来
- 每周做一次，每次 40 分钟起步，做到第三周就开始敷衍

传统的解法是写爬虫。但对非专职爬虫的人来说，写脚本的真实成本是：先定位 DOM、再处理动态渲染、再搞定登录态、再处理翻页和限速——**写爬虫的时间比手工干半年还多**。

我这轮用一个不一样的思路跑通了：**不写爬虫，用自然语言指挥本机浏览器**。下面是我完整的实操过程和踩过的坑，全程可复现。

---

## 二、环境准备（5 分钟，一次性）

### 2.1 装 WorkBuddy 桌面端

官网下载桌面客户端，登录即可。免费版有基础额度，日常轻量任务够用；重度使用（比如批量跑长任务）需要攒积分，这点后面提。

![image.png](https://developer.qcloudimg.com/http-save/yehe-12778039/894098f29ebc908c9c5fe99cd8892654.png)

### 2.2 让本机浏览器"可被接管"

这是整套流程的技术核心。原理一句话：Chromium 内核的 Edge / Chrome 支持 CDP（Chrome DevTools Protocol），开启后 WorkBuddy 能通过本地代理**直连你日常使用的那个浏览器**——登录态、Cookie、JS 渲染全都是现成的，等于让 AI 用"你本人已经登录的浏览器"去干活，绕开了爬虫最容易卡死的三座山。

做法（Windows + Edge，当前版本实测有效）：

1. **正常打开 Microsoft Edge**（就用你平时的默认用户目录，不用改）。
2. 在地址栏访问 `edge://inspect/#remote-debugging`，勾选 **"Allow remote debugging for this browser instance"**。
3. 回到 WorkBuddy，发一条 `@skill:web-access`，它会自动跑依赖检查。

![image.png](https://developer.qcloudimg.com/http-save/yehe-12778039/8fbf757751cb65ca2dc3b09520eb078f.png)

看到依赖检查输出 `browser: ok (Microsoft Edge, port 9222)` 和 `proxy: ready` 两行，就说明接管就绪、可以开工。

![image.png](https://developer.qcloudimg.com/http-save/yehe-12778039/63571ca84b64cf58d74171486bf5a1ee.png)

> ⚠️ **一个"过时教程"坑**：网上很多老文章教你在命令行加 `--remote-debugging-port=9222 --user-data-dir=独立目录` 来开端口。但在较新的 Edge 上，**用默认目录启动会静默忽略这个参数**（进程正常、端口不监听）；而用独立目录启动，又会打断"依赖默认目录做发现"的代理，导致它找不到浏览器。所以现在最稳的就是上面这种**实例内开关**做法——不碰命令行、不动 profile。

---

## 三、实操：一条完整任务跑通

### 3.1 用自然语言下任务（别写规格书）

关键认知：**你不需要告诉它怎么抓，你需要告诉它要什么。**

比如我的选品对比任务，我原话就一句：

```
帮我采集某电商平台"初中生书包"搜索结果的前 10 个商品，
要：商品名称、到手价、店铺/厂家、商品链接。
整理成表格，按价格从低到高排序。
```

不需要给 URL 列表、不需要给 XPath、不需要给分页规则。它会自己打开浏览器、搜、翻页、读列表。

![image.png](https://developer.qcloudimg.com/http-save/yehe-12778039/da7d15075b2b4c091e6c82a725ed6678.png)

### 3.2 处理动态渲染（最容易被卡住的地方）

现代电商页面基本都是 SPA（单页应用）。你用 `curl` 直接请求，拿到的 HTML 里**什么都没有**，只有一个空壳 `<div id="app"></div>`。

这也是为什么前面必须走"接管真实浏览器"的路线——它读的是**渲染完成后的 DOM**。如果某次返回是空列表，通常是**页面还没加载完就读取了**，让它在读取前多等几秒即可：

```
页面是动态加载的，请在提取前等待 5 秒，
并把结果先打印出来给我确认，再整理成表格。
```

### 3.3 校验：这一步千万别省

AI 给出的数据**必须抽查**。我的习惯是：

1. 随机挑 2-3 条商品，手工打开链接核对价格和厂家
2. 看排序是否正确（价格是否真的升序）
3. 看有没有明显异常值（比如价格 0.01、名称重复）

有一次我就抓到一条：某个商品页面上同时显示"券后价"和"原价"，第一次抓取取错了字段，导致排序整体错位。**加一句"只取券后到手价"就修好了。**

这类修正正是 AI 辅助采集比写死脚本更舒服的地方——**改需求就是改一句话，不是改代码**。

### 3.4 产出结构化结果

确认数据没问题后，让它落盘：

```
把结果导出成 CSV，另外生成一个单文件 HTML 报告，
按价格分档做可视化，标明采集时间。
```
![image.png](https://developer.qcloudimg.com/http-save/yehe-12778039/9187a6102ca82288f944a8cab3f232ea.png)

到这里，一条完整的"采集 → 校验 → 出报告"链路就通了。我实测同样的活：**手工 40 分钟，现在一句话 + 3 分钟抽检**。

---

## 四、踩坑记录（这部分才是精华）

### 坑 1：进程树会被连带杀掉

如果你是在某个终端里启动浏览器、然后那个终端退出了，浏览器往往会被一起带走——现象是：**刚才还能连的 9222 端口，突然 `Connection refused`**。

对策：把"启动浏览器"和"跑采集任务"放在**同一个执行上下文里**，任务期间保持它活着；或者干脆常驻一个 CDP 专用 profile。

### 坑 2：自定义 profile 会打断自动化工具链

这是我花了最久的一个坑。当我用自定义目录启动 Edge 后，某些依赖"默认用户目录"做发现（browser-discovery）的工具会直接找不到浏览器——因为它在默认 profile 目录下读一个记录调试端口的小文件，而自定义目录里**没有这个文件**。

这一刻我才明白两件事的区别：

- **浏览器能被 CDP 控制** ≠ **自动化框架能自动发现这个浏览器**

前者的判据是"9222 端口通不通"，后者的判据是"双方对 profile 目录的认知是否一致"。

对策：把 profile 目录作为**固定配置**固化下来，一次定好就不要再改。工具链的稳定性和配置的稳定性是绑定的。**（这也是为什么 2.2 我直接教"实例内开关"——它用的是你默认目录，天然不会踩这个坑。）**

### 坑 3：登录态是个双刃剑

接管真实浏览器最大的红利就是**登录态现成**——需要登录才能看的内容，手工先登一次，之后所有采集任务都带着这个身份。

但反过来，**不要在自动化流程里做登录动作**。真实平台的登录流程有一堆风控（滑块、验证码、设备指纹），让 AI 去处理是给自己找麻烦。正确姿势：**手工登，自动用**。

### 坑 4：别让任务无限长

一个任务里塞 5 个平台 × 10 页，失败概率是线性累加的。我的做法是**拆成小任务、逐个确认、分批落盘**。中途某一批失败了，前面的成果还在。

---

## 五、进阶：把流程固化成 Skill，下次一句话复用

跑通一次不算能力，**能复用才算**。

WorkBuddy 的 Skill 机制本质上是把"一套稳定的操作流程 + 判断规则"打包成一个可被自然语言触发的能力。当你发现自己第三次让 AI 做同一类事时，就该固化了：

```
把这套采集流程做成一个 Skill，
包含：目标页面的定位规则、字段提取规则、
动态等待策略、输出格式（CSV + HTML 报告）。
```

固化之后，下次开工只需要：

```
@skill:选品采集  帮我跑一下本周的书包 Top10
```

![image.png](https://developer.qcloudimg.com/http-save/yehe-12778039/82b6c11e0a3659077b6daca9fb9507e7.png)

![image.png](https://developer.qcloudimg.com/http-save/yehe-12778039/493eca2fc5911060f52d2e1550e5e31b.png)

**这是我认为这套方法真正的价值所在**：不是"AI 帮你干了一次活"，而是"你把一次性的手工经验，变成了一句话可反复调用的能力"。

---

## 六、总结：什么场景适合这么干

| 场景特征 | 是否适合 | 原因 |
|---|---|---|
| 页面动态渲染、需要登录态 | ✅ 非常适合 | 真实浏览器天然解决 |
| 一次性、结构松散的信息采集 | ✅ 适合 | 自然语言下任务，成本近乎为零 |
| 字段规则会频繁调整 | ✅ 适合 | 改需求 = 改一句话 |
| 需要高并发、百万级抓取 | ❌ 不适合 | 应走专业采集框架 |
| 登录流程本身有强风控 | ⚠️ 谨慎 | 手工登录，自动使用 |

一句话总结：**它替代的不是爬虫框架，而是"人手复制粘贴"那段最没性价比的时间。**

写到这里回头看，这类工具真正改变的不是速度，而是**我愿不愿意去做一件事的门槛**——原来要 40 分钟的事，人会本能地拖着不做；现在 3 分钟，那就可以真的每周做了。

> 本文为个人真实使用体验分享，所有操作步骤均在本机 Windows 环境实测复现。

我做的是企业级应用架构，日常有一类活特别烦：定期从几个网页上把数据抄下来，整理成表。比如给家里小孩挑书包要对比各家价格和厂家、比如整理某个话题下的信息汇总。

**# WorkBuddy # 从零跑通网页数据采集：我用 AI 助手把"手工复制粘贴 40 分钟"压缩到 3 分钟**

编程语言

开发工具

人工智能

用AI助手接管本机浏览器，无需写爬虫，自然语言即可完成网页数据采集。实测将40分钟手工复制粘贴压缩至3分钟。支持动态渲染、登录态复用，字段调整只需改一句话，可固化流程为Skill实现一键复用。附完整实操步骤与踩坑记录。

代码解释

验证码

WorkBuddy 

Windows

WorkBuddy企业版限时双倍 Credits 活动

workbuddy

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

**# WorkBuddy # 从零跑通网页数据采集：我用 AI 助手把"手工复制粘贴 40 分钟"压缩到 3 分钟**-腾讯云开发者社区-腾讯云

# WorkBuddy # 从零跑通网页数据采集：我用 AI 助手把"手工复制粘贴 40 分钟"压缩到 3 分钟

# WorkBuddy # 从零跑通网页数据采集：我用 AI 助手把"手工复制粘贴 40 分钟"压缩到 3 分钟

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐