# 用 OpenClaw 在腾讯云云端跑完 CL-bench：Agent 真能放大模型能力吗？

> 也许我是全网第一个用 OpenClaw 在云端完整跑通腾讯 CL-bench 的人。

在大模型爆发的这两年，大家都在卷参数、卷排行榜，但一个老问题始终没有被真正解决：我们到底应该怎么评估一个模型的「真实能力」？
 传统评测（比如 MMLU、HellaSwag）更像是在考「背题」，本质是检验训练语料里有没有见过类似知识，而不是真正在考「理解」和「临场学习」。​
 我更关心的是：如果给模型一份全新的长文档，它能不能像一个新人同事那样，从文档里学会规则、理解约束、再去解决新的任务？​

为了回答这个问题，我选择了腾讯混元团队开源的 CL-bench 作为评测基准，并且没有直接在本地裸跑模型，而是基于腾讯云 Lighthouse 部署了 OpenClaw，把它当成一个云端「模型评测工作台」，去对比 DeepSeek-chat、MiniMax-M2.1 以及「OpenClaw + MiniMax-M2.1-free Agent」三种形态的表现。

这篇文章既是一次 CL-bench 评测实战复盘，也是一次「Agent 是否真的是能力放大器」的云端实验报告。

------

## 一、CL-bench：考的是「学」，不是「背」

CL-bench（Context Learning Benchmark）是腾讯混元团队开源的一个评测基准，专门用来衡量大模型的「上下文学习能力」。

它有几个关键特征：

- 大规模任务集：包含 1899 个评测任务，每一个都基于一篇长文档。
- 四大类别：覆盖领域知识推理、规则系统应用、程序化任务执行和经验发现等不同场景。
- All-or-Nothing 计分：每个任务都有一套 rubric，只有全部标准都满足才记 1 分，否则就是 0 分，没有「部分给分」。

这些任务的形式一般是：给你一篇很长的文档（可能是游戏规则、法律条文、课程指南或 API 文档），然后再给一个具体问题，让模型必须严格根据文档回答，不能靠「想当然」或者训练时记住的先验知识。

和很多传统评测不同，CL-bench 更接近真实工作中「拿到一份 SOP 文档 / 规则说明 / 产品 PRD，然后去执行任务」的过程，对模型的长文档理解、信息筛选、规则抽象和严谨性提出了非常高的要求。

------

## 二、为什么用腾讯云 Lighthouse + OpenClaw？

OpenClaw 是一个开源的 AI Agent 平台，天生就不是只用来「聊天」的，而是用来「操作系统」的：它可以读文件、跑命令、改代码，甚至可以获得完整系统权限。
 这种能力非常适合做「评测工作台」：我只需要给它一段自然语言指令，它就可以在云端自动拉代码、装依赖、跑脚本、收集日志。这个过程如果人工来做，是非常枯燥又容易出错的重复劳动。​

我实验时一共有三台 OpenClaw 实例：两台在本地 Mac（Mini 和 Air），一台在海外腾讯云服务器，这次 CL-bench 评测选择的是「海外腾讯云 + OpenClaw」这一组合，原因主要有三点：

- 安全隔离：评测环境和个人电脑彻底隔离，不会影响本地开发环境，也不用担心脚本误操作。
- API 访问友好：海外节点调用 DeepSeek、MiniMax 等 API 更稳定，延迟和限流问题更少。
- 云端 7×24：这台机器可以长期挂着，让 OpenClaw 作为一个常驻的自动化评测 Agent，以后想测别的模型也可以一键复用流程。

腾讯云 Lighthouse 在这方面比较适合作为「评测专用机」：轻量、便宜、上手成本低，我这次用的是一台海外轻量应用服务器，2C4G 就能跑起来 CL-bench 的小样本测试。你可以在控制台里创建实例、选择操作系统，然后用 SSH 登录，后面所有操作就都交给 OpenClaw 了。

------

## 三、在云端部署 OpenClaw 并拉起 CL-bench

这部分对应比赛的「部署说明」评分，我把关键步骤简要整理成了一个可复现的流程。

## 1. 部署 OpenClaw 到 Lighthouse

在创建好腾讯云 Lighthouse 服务器并配置好安全组之后，通过 SSH 登录到云端实例，执行官方安装脚本即可完成 OpenClaw 的安装：

```
bash
curl -fsSL https://openclaw.ai/install.sh | bash
```

安装完成后，OpenClaw 的默认工作目录位于 `/root/.openclaw/workspace`，后续所有实验环境都可以放在这里。你可以在 Web 控制台打开 OpenClaw 的前端界面，也可以通过 IM/命令行等方式让它执行任务。

## 2. 准备 CL-bench 评测环境

在 OpenClaw 所在的云端环境中，进入工作目录并拉取 CL-bench 仓库：

```
bash
cd /root/.openclaw/workspace
git clone https://github.com/tencent/HunyuanA13B/CL-bench.git
cd CL-bench
pip install openai tqdm
wget https://huggingface.co/datasets/Tencent-Hunyuan/HunyuanA13B/resolve/main/CL-bench/CL-bench.jsonl
```

上面几步完成后，CL-bench 的代码和数据就已经准备好了，接下来要做的事情，就是让不同的模型来跑推理，再用统一的裁判模型来打分。

------
![image.png](https://developer.qcloudimg.com/http-save/yehe-973364/c25561c2254e245ae09f24498c530999.png)
## 四、DeepSeek-chat：第一轮挑战，0% 解决率

第一轮测试，我选择的是目前在社区里口碑不错的 DeepSeek-chat 模型，直接用它来跑 CL-bench 的部分样本，看看在上下文学习场景下的表现。

## 1. 配置 API 并运行推理

在云端配置 DeepSeek 的 API 参数：

```
bash
export OPENAI_API_KEY="sk-xxx"
export OPENAI_BASE_URL="https://api.deepseek.com/v1"
```

然后在 CL-bench 目录中执行推理脚本（先用 5 个样本做 sanity check）：

```
bash
python3 infer.py \
  --model deepseek-chat \
  --base-url https://api.deepseek.com/v1 \
  --max-samples 5 \
  --output outputs/test_output.jsonl
```

这一步在云端跑起来整体还算顺畅，单个样本推理耗时在十几秒量级，整体体验比较丝滑。
![image.png](https://developer.qcloudimg.com/http-save/yehe-973364/1e3d46dbc445e4b7143974b69cc9a1f5.png)

## 2. DeepSeek 自评：0/5，全军覆没

CL-bench 官方提供了一个 eval 脚本，可以用任意一个模型作为裁判，来打分其它模型的回答。为了后续对比公平，我统一选择 DeepSeek 作为裁判模型，对自己的输出也同样用它来评分。

```
bash
python3 eval.py \
  --input outputs/test_output.jsonl \
  --judge-model deepseek-chat \
  --base-url https://api.deepseek.com/v1
```

首轮结果非常扎心：

- Total samples: 5
- Score 0: 5
- Score 1: 0
- Solving Rate: 0.0000 (0/5)

也就是说，在这 5 个任务上，DeepSeek 作为「选手」在 CL-bench 的严苛 rubric 下完全没拿到分，这不是模型「不会答」，而是很多回答看起来还不错，但总有某一个 rubric 条目没有满足，于是被判了 0 分。

------

## 五、OpenClaw + MiniMax-free：Agent 形态的反击

光看 0% 解决率很难判断问题出在模型本身，还是出在任务理解和拆解策略上。于是我做了第二轮实验：不再让 DeepSeek 直接回答问题，而是让云端的 OpenClaw 自己出场，用它接入的 minimax-m2.1-free 模型来当「大脑」，OpenClaw 当「Agent 外壳」，再用 DeepSeek 做统一裁判。

## 1. 让 OpenClaw 作为「选手」
![image.png](https://developer.qcloudimg.com/http-save/yehe-973364/3c421f5f16b66eed51594ab0a87b782b.png)
在这一轮里，我把同样的 5 个 CL-bench 任务交给 OpenClaw，让它用内置的 MiniMax-free 模型来生成答案，比如：

- Twisted Cryptids 游戏规则任务：要求解释不同卡牌、触发条件和计分方式，OpenClaw 给出了比较长篇、分点罗列的说明。
- 培训会议设计任务：需要根据提供的培训总结文档设计下一次会议，OpenClaw 设计了 60 分钟的互动式会议流程，包含多个环节、参与方式和作业安排等。

这些回答和一般「一问一答」式对话明显不同，更像是 Agent 在「照着文档写提案」，信息密度和结构化程度都明显更高。

## 2. 统一由 DeepSeek 打分

为了对比公平，我依然使用 DeepSeek 作为裁判模型来打分：

```
bash
python3 eval.py \
  --input claude_answers.jsonl \
  --judge-model deepseek-chat \
  --base-url https://api.deepseek.com/v1
```

结果这一次出现了一个转折点：

- Total samples: 5
- Score 0: 4
- Score 1: 1
- Solving Rate: 0.2000 (1/5)

也就是说，在同样的 5 个任务上，OpenClaw + MiniMax-free 的组合拿到了唯一的 1 分，把整体解决率从 0% 拉到了 20%。

从具体任务来看，双方的对比大致如下：

| 样例 | 主题              | DeepSeek-chat 得分 | OpenClaw + MiniMax-free 得分 |
| ---- | ----------------- | ------------------ | ---------------------------- |
| 1    | Twisted Cryptids  | 0                  | 0                            |
| 2    | 培训会议设计      | 0                  | 1 ✅                          |
| 3    | 旅游规划          | 0                  | 0                            |
| 4    | ToolCritic 说明   | 0                  | 0                            |
| 5    | BC 就业法相关问题 | 0                  | 0                            |

唯一拿到 1 分的，是「培训会议设计」这一题。OpenClaw 在这一题里的表现非常像一个认真看过材料的 HR 培训主管：不仅提炼出了培训目标，还按照时间线和环节设计了完整的会议方案，包括时长、互动形式以及作业安排等，恰好满足了 CL-bench rubric 里对「结构」「目标」「环节」的多条标准。

------

## 六、纯 MiniMax-M2.1：去掉 Agent 后的对照实验

到这里为止，只能说明「OpenClaw + MiniMax-free」比「DeepSeek 裸模型」在这组样本上表现更好，但还不能说明提升来自 Agent 框架，还是来自模型本身的差异。
 于是我又做了第三轮实验：直接用官方 API 调用纯 MiniMax-M2.1 模型，脱离 OpenClaw 的 Agent 外壳，去跑同样的任务，再交给 DeepSeek 打分。​

## 1. 配置 MiniMax API 并运行 CL-bench

在云端设置 MiniMax 的 API 参数：

```
bash
export OPENAI_BASE_URL="https://api.minimaxi.com/v1"
export OPENAI_API_KEY="sk-api-xxxx..."
```

然后用 CL-bench 提供的脚本直接调用 MiniMax-M2.1：

```
bash
python3 infer.py \
  --model MiniMax-M2.1 \
  --base-url https://api.minimaxi.com/v1 \
  --max-samples 5 \
  --output /tmp/minimax_output.jsonl

python3 eval.py \
  --input /tmp/minimax_output.jsonl \
  --judge-model deepseek-chat \
  --base-url https://api.deepseek.com/v1 \
  --output /tmp/minimax_graded.jsonl
```

## 2. 结果：0% 解决率，再次全军覆没
![image.png](https://developer.qcloudimg.com/http-save/yehe-973364/1d8056e6733392ec3ed0429baacab462.png)
这一轮的统计结果是：

- Total samples: 5
- Score 0: 5
- Score 1: 0
- Solving Rate: 0.0000 (0/5)

把三种形态放到同一张表里，大致是这样的：

| 排名 | 形态                          | 解决率 | 备注                    |
| ---- | ----------------------------- | ------ | ----------------------- |
| 🥇    | OpenClaw + MiniMax-free Agent | 20.0%  | 仅通过 1 个任务         |
| 🥈    | MiniMax-M2.1 裸模型           | 0.0%   | 推理成功但未满足 rubric |
| 🥉    | DeepSeek-chat 裸模型          | 0.0%   | 全部失败                |

在同样的数据集、同一裁判模型、相近的调用预算下，唯一拿到分的是「Agent 形态」的 OpenClaw + MiniMax-free，这说明在 CL-bench 这种复杂长文档任务上，Agent 所带来的任务拆解、信息组织和输出结构化能力，确实在一定程度上发挥了「能力放大器」的作用。

后面我一度想把样本数从 5 提高到 10 再跑一轮，看看统计结果会不会有所稳定，但 CL-bench 的评测实在太「烧钱」，跑着跑着就收到了 DeepSeek 的余额预警短信，只好先在 5 样本规模上收手，留待以后预算更充足时再继续扩大样本量。

------

## 七、CL-bench 为何这么难：长文档 + 严格打分

从这几轮实验里，我对 CL-bench 的「难度结构」有了更直观的感受，可以简单总结为三点：

1. 长文档压强极大：很多任务的文档长度在 10 万到 15 万字符之间，模型需要在这个体量里找出和当前问题强相关的片段，本身就是一个挑战。
2. All-or-Nothing 评分：rubric 非常细致，只要漏掉一个关键点，哪怕整体回答看起来还不错，最终也只能拿 0 分。
3. 幻觉零容忍：CL-bench 要求严格基于文档作答，任何凭空想象的补充信息都可能导致扣分，这跟现实业务场景里的合规要求高度相似。

这也侧面解释了为什么很多「平时体验不错」的大模型，在 CL-bench 上会表现得非常狼狈——它考的不是「会不会说人话」，而是「能不能老老实实读文档、按规则办事」。

------

## 八、我对模型评测的一点实践建议

基于本次在腾讯云 Lighthouse + OpenClaw 上跑 CL-bench 的实战，我觉得可以沉淀出一个比较通用的「个人评测工作台」玩法，给也想参加本次征文或者在公司里搭一套自动化评测平台的同学做参考。

## 1. 场景定义：云端评测 Agent

- 在腾讯云 Lighthouse 上长期跑一个 OpenClaw 实例，把它作为「评测管家」。
- 由它负责拉取最新的评测基准（例如 CL-bench），批量调用不同模型的 API，统一用一个裁判模型打分，并把每次评测结果整理成报告或同步到知识库里。

## 2. 实用小技巧

- 优先选择海外节点，以保证 DeepSeek、MiniMax 等海外 API 的访问质量。
- 善用免费模型和小样本策略：先用 `--max-samples 5` 验证流程，再逐步扩展到几十、上百样本，有效控制成本。
- 前后保持同一个裁判模型（本次用的是 DeepSeek-chat）来打分，减少评测主观性和不一致性。
- 可以做成 Skill，后续有新模型发布可以手机的 Openclaw一键评测

![image.png](https://developer.qcloudimg.com/http-save/yehe-973364/9f642990faa488e0e04c4cc0831d6e3f.png)

![image.png](https://developer.qcloudimg.com/http-save/yehe-973364/4ded2055192302f89875b6da72696121.png)
![image.png](https://developer.qcloudimg.com/http-save/yehe-973364/b57c598e5abc06a3df982411126ef36e.png)
## 3. 创意延展玩法（更贴合比赛的「创意实践」）

- 把评测工作台接入企业微信、QQ、飞书等 IM，做一个「模型对战机器人」，在群里一条命令就能触发一轮小规模 CL-bench 比赛，并返回排行榜截图。
- 让 OpenClaw 在评测结束后自动写一份「实验日报」，把失败案例、rubric 不满足的具体项罗列出来，作为后续微调或提示工程的输入。
- 除了 CL-bench，也可以逐步加入内部自建任务集，把真实业务流程抽象成「上下文 + 任务 + rubric」的形式，用同一套流水线去做回归测试。

------

## 九、结语：Agent 不是魔法，但确实有用

通过这次在腾讯云云端用 OpenClaw 跑 CL-bench 的实践，我至少得出了三点对我自己有价值的结论：

- CL-bench 是一个非常适合检验「上下文学习」的评测基准，它不像常见排行榜那样「好看分数」，而是非常诚实地告诉你：模型到底能不能看懂文档、按规则办事。
- 在同一组任务、同一裁判模型、相似预算下，「OpenClaw + MiniMax-free Agent」是唯一拿到正分的组合，这说明在复杂长文档任务上，Agent 的任务拆解与结构化输出确实能发挥实际作用，哪怕这种提升目前只是从 0/5 到 1/5。
- 腾讯云 Lighthouse 提供的云端隔离环境非常适合做这类长期评测：安全、稳定、成本可控，让 OpenClaw 这样真正具备系统操作能力的 Agent 有了一个「专属舞台」。

接下来我打算在这套云端评测工作台上继续扩展更多模型（例如 GPT-4、Claude 以及更多国产模型），也会尝试构建一些面向中文业务场景的上下文学习基准，看看在同样的框架下，不同模型、不同 Agent 设计究竟能拉开多大的差距。

如果你也在用 OpenClaw 和腾讯云做各种玩法，欢迎一起交流，也欢迎把你的创意实践写成文章，一起参加这次「玩转 OpenClaw 云端创意实践赛」。也许下一篇让人「结果出乎意料」的实验报告，就是你的。
微信公众号： https://mp.weixin.qq.com/s/PksbD9EpO6V_brsIAD6t_g

也许我是全网第一个用 OpenClaw 在云端完整跑通腾讯 CL-bench 的人。

基于腾讯云 Lighthouse 的 OpenClaw 云端实战：CL-bench 评测全流程复盘

编程语言

探索OpenClaw在腾讯云上运行CL-bench评测：测试大模型真实能力。通过对比DeepSeek-chat、MiniMax-M2.1及OpenClaw+MiniMax组合表现，发现Agent架构能显著提升模型在长文档理解任务中的表现。CL-bench评测聚焦上下文学习能力，严苛评分标准揭示大模型实际应用短板。

4核4G3M云服务器 新用户低至38元/年！

lighthouse

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

基于腾讯云 Lighthouse 的 OpenClaw 云端实战：CL-bench 评测全流程复盘-腾讯云开发者社区-腾讯云

基于腾讯云 Lighthouse 的 OpenClaw 云端实战：CL-bench 评测全流程复盘

基于腾讯云 Lighthouse 的 OpenClaw 云端实战：CL-bench 评测全流程复盘

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐