#WorkBuddy# 把"调研+出图"一条龙交给 AI：网页抓取、数据整理、自动生成可视化报告

做技术调研、竞品分析、运营复盘的人，最耗时的往往不是"想清楚要什么"，而是"把网页数据弄下来、洗干净、再画成一张能看的图"这套体力活。以前我得自己开浏览器、复制粘贴、丢进 Excel 透视、再导出图表，一个主题折腾一下午。最近我把整条链路搬到了 WorkBuddy：我只用大白话告诉它"我想看什么、关心哪些数字"，它负责抓网页、抽结构化数据、生成可交互的可视化，最后还能定时自动跑。下面把这条"调研→出图"流水线拆开讲，每一步都给能直接抄的命令。 一、先用自然语言把需求说清（不用背 API） 打开 WorkBuddy 对话，直接说人话就行，例如： "帮我把某技术社区最近 30 篇关于『边缘计算』的文章标题和发布时间抓下来，按周统计数量，画一张柱状图，并生成一个能直接在浏览器打开的 HTML 报告。" 你不需要知道它用 requests 还是用 Playwright，也不用管解析 CSS 选择器。WorkBuddy 会先和你确认抓取范围和字段，再落地脚本。关键点：你定义"要什么指标"，它负责"怎么拿、怎么画"。遇到反爬、登录态、动态渲染，它也会主动提示你补充 cookie 或改用浏览器模式，而不是闷头报错。 二、网页抓取：一段可复用的 Python 下面这个示例是"抓一个列表页、抽出标题和日期、落盘成 CSV"的最小可运行版本，日常调研 80% 场景够用：

import requests, csv, re
from datetime import datetime
url = "https://example.com/articles?tag=edge"
headers = {"User-Agent": "Mozilla/5.0"}          # 避免被简单反爬拦
html = requests.get(url, headers=headers, timeout=15).text⟩

# 用正则/BeautifulSoup 抽字段（这里用最简正则示意）
titles = re.findall(r'<h2 class="title">(.*?)</h2>', html)
dates  = re.findall(r'data-time="(\d{4}-\d{2}-\d{2})"', html)

with open("articles.csv", "w", newline="", encoding="utf-8-sig") as f:
    w = csv.writer(f)
    w.writerow(["title", "date"])
    for t, d in zip(titles, dates):
        w.writerow([t, d])
print("已抓取", len(titles), "条")

避坑：Windows 上落盘交付文件记得用 utf-8-sig（带 BOM），不然记事本打开中文会乱码；跨平台路径统一写 D:/... 而非 /d/...，git 和 Python 才认。 三、数据整理：让 AI 顺手做聚合 抓完原始数据，直接下一条指令： "读 articles.csv，按 ISO 周分组统计文章数，输出 weekly.csv，并判断哪一周是发布高峰。" WorkBuddy 会用 pandas 这类库帮你聚合，省去你自己写 groupby 的功夫。你也可以让它顺手把异常行（日期为空、标题重复）标出来，保证进图的数据是干净的。 四、可视化：从"能看"到"能交差" 这是最爽的一步。WorkBuddy 内置可视化能力，可以直接在对话里渲染内联图表（SVG/HTML 组件），也能导出成独立 HTML 让你双击打开。你只要说： "用 weekly.csv 画一张柱状图，横轴是周、纵轴是文章数，配色用清爽的蓝白风格，输出成 report.html。" 它产出的不是一个静态截图，而是一张可缩放、可悬停看数值的交互图。需要多图对照时（比如同时看"发布量"和"评论量"两条曲线），让它一次生成多张并排卡片，叙事感比 PPT 还强。对外汇报时，这份 HTML 直接发链接或附件即可，不用再转来转去。 五、固化为定时任务：每天自动出报告 跑顺一次后，别再手动触发。让 WorkBuddy 建个定时自动化，比如每天早 9 点自动抓取+出图+把结论贴回对话： FREQ=DAILY;BYHOUR=9;BYMINUTE=0

你也可以在对话里直接说"每天上午 9 点帮我抓一次边缘计算文章并生成报告"，助手会把调度规则写对、把抓取和出图脚本接好。到期不想跑了，在自动化面板里一键暂停即可，规则不会自己乱改。 六、几条实战经验 • 先小样本验证：第一次先抓 3 条确认字段抽得对，再全量跑，避免把几千条脏数据直接画成图。 • 反爬要讲武德：加 User-Agent、控制频率、必要时用官方 API 而非硬爬；WorkBuddy 会提醒你合规边界，别让它帮你做违规抓取。 • 图要能交差：对外汇报优先选交互 HTML，内部快看用对话内联图，二者 WorkBuddy 都能给，省得来回转格式。 • 定时任务只跑不篡改：自动化负责"跑和报"，规则变更（比如改指标口径）必须你人工确认，避免系统把自己调偏。 结语 把"抓网页→洗数据→出图→定时跑"这条调研流水线交给 WorkBuddy 之后，我做一个主题复盘的时间从一下午压缩到十几分钟，而且产出的是可交互、可复用的报告，不是一次性截图。核心心法是：你只管定义指标和结论目标，抓取、清洗、画图、排程这些脏活累活让它来。如果你也常做竞品分析、技术雷达或运营周报，按上面五步先试一个小题，把手从重复劳动里解放出来。