上一篇收尾在一句话上：「已恢复」是一个被人按下的字段。这一篇更靠前一层——

你读到的那个分数，在 2025 年 11 月之前，从来没有过输入校验。

评测方拿到一份提交文件，跑完 500 道题，报一个分数。整个链路干净利落。

只是从来没有人问过一件事：这份提交文件本身，合格吗？

2025-11-19，SWE-bench 官方自己补跑了一个检测脚本。跑完之后的结论，

原文写得很克制：this points to a formatting mistake rather than intentional cheating

（这更像是格式错误，不是蓄意作弊）。

但脚本里那几个数字，值得逐个看。

⚠️ 口径先钉住：本篇引用的每个数字、每段原文，都来自

swebench.com/post-20251119-cheating.html 这一篇，我今天当场取回全文逐条核过。

那个提交目录现在的现状我也亲自查了。逐条出处见文末。

一、先看基准线：一个正常提交长什么样

检测脚本干的事，是把提交文件里的补丁和标准答案逐块比对，看有多少块一字不差地重合。

跑完全部提交，得到的分布是这样的：

  评测集   平均精确命中率   最小 / 最大

  SWE-bench Verified   6.7%（约 34/500）   0 / 13%

  SWE-bench Lite   4%（12/300）   0 / 11.2%

  SWE-bench   2.45%（约 56/2294）   0 / 4.05%

注意最后那列的最大值：Verified 集上，正常提交的精确命中率天花板是 13%。

One submission (20240820_honeycomb) was suspicious, with exact match rates of

78.7%，对上 13% 的天花板。 六倍。

一个正常的模型，就算它真的把题目全解对了，也不该在「逐字重合标准答案」这个指标上

冲到 78%。因为解对一道题，写出来的补丁和参考答案的行文几乎不可能逐块一致——

除非那段代码本来就是从参考答案里来的。

原博客把脚本贴了出来。逻辑只有三步，我原样翻译：

    # 如果预测补丁没有编辑标准答案编辑过的全部文件，判否

    if not set(orig_files.keys()).issubset(set(pred_files.keys())):

    for filename, orig_hunks in orig_files.items():

            # 如果某个标准答案的 hunk 在对应预测文件里找不到原文，判否

            if orig_hunk not in pred_files[filename]:

没有统计、没有模型、没有容差。 就是「标准答案的每一块，是不是原样出现在提交里」。

一个检测脚本能被写成这样，说明它要检的东西非常明确、非常朴素——

不是「这个模型是不是在作弊」，而是「这个提交文件里是不是混进了参考答案」。

三、跑完之后，那个提交里是什么

I found that evaluation/verified/20240820_honeycomb/all_preds.jsonl contained

2236 predictions, far more than the 500 instances in SWE-bench Verified.

2236 条预测，塞进一个只有 500 道题的评测集。

他把范围收回到正确的 500 道题重跑：

When I re-ran the analysis on only the 500 Verified instances, the exact match rate

dropped to a normal level: 16 / 500 (~3.2%).

回到正常区间了。也就是说，被正式计分的那 500 道题，评分本身没问题。

the remaining 1,736 instances had an extremely high exact match rate.

The most plausible explanation is that these were not true model predictions,

but accidentally included gold solutions (or near-identical copies).

1736 条没被计分的预测，精确命中率异常地高。 最说得通的解释是：

那份文件本来是给完整 split 准备的，被人当成了 Verified 提交传上去，

于是把标准答案连同预测一起打包带进去了。

this points to a formatting mistake rather than intentional cheating.

我同意这个定性，也建议不要往「抓作弊」的方向写——

那个提交在被测的那 500 道题上表现完全正常，没有任何得分的收益。

但「这不是作弊」和「这条链路是干净的」是两回事。

原文最后一句是这一篇的全部要害：

Going forwards, we plan to run this script for all submissions and ask for

clarification on submissions with abnormal (>20%) exact match rates.

也就是说，这个检测脚本在 2025-11-19 之前不存在。

在那之前，每一份提交文件都是直接进评测、跑 500 道题、报一个分数、进入排行榜的。

中间没有任何一步问过「这份文件本身是不是一份合法的预测」。

评测方一直在输出一个数字，那个数字被全行业当成模型能力的度量。

而这个数字所依赖的输入，在很长一段时间里从未被验证过。

五、为什么这件事比「抓到一个坏提交」重要

上面那段推理很容易停在「幸好发现了一个」。我想说的是另一层。

排行榜上的一个分数，它的说服力建立在一条链上：

    提交文件 → 评测流水线 → 分数 → 排行榜

这条链上，每一环都可以独立地出错，而只有最后一环是公开可见的。

分数会印在榜单上，流水线是公开仓库里的代码，

而提交文件本身，通常躺在提交者的机器上，谁也没见过。

所以第三段那个故事真正暴露的是：

这条链的第一环，从来没有闸门。

我上一篇写的是「状态页的 Resolved 是被人按下的，不是被判出来的」。

这一篇更靠前：状态页上的那个分数，在 11 月之前，连输入是不是真的都没人看过。

这两篇指向同一件事的两端——一个是结论被赋值，

值得留意的还有那个阈值。官方后来定的复核线是 >20%：

高于 20% 精确命中率的提交会被要求说明。

而基准线是 6.7%，天花板 13%。20% 是一条画在噪声之外、作弊嫌疑之内的线。

也就是说，在那之前，一个人要拿到 20% 的精确命中率，

得让超过三分之一的补丁和参考答案逐字一致。这很难，所以它是个合理的筛子。

但「难」不等于「被检查过」——在 11 月之前，压根没人跑这个筛子。

这篇有两个东西是你能自己动手验的：

一、那个提交目录现在的状态。 我今天查了

SWE-bench/experiments 仓库的 evaluation/verified/20240820_honeycomb/：

目录还在，可以匿名列，但里面只剩一个 README.md，

博客里引用的 all_preds.jsonl 已经不在了（取那个路径返回 404）。

原始证物被收走了。这本身合理——但也意味着

你现在能验的只有「官方说了什么」，验不了「原始文件长什么样」。

二、检测脚本的逻辑。 原文贴的那二十行你可以自己抄一份，

拿任意一份 SWE-bench 的 gold patch 和预测补丁跑一遍，看它怎么判。

1. 同一套流水线在别的评测基准上是什么样。 本篇只覆盖 SWE-bench 一家。

2. >20% 这条线到今天是否一直在跑。 博客只承诺「Going forwards」，

   之后有没有持续执行、覆盖了多少次提交，公开材料里我没查到。

3. 那 1736 条具体是哪些题。 原始文件已经不在了，这个问题现在无法回答。

一手（本轮我亲自取回全文核对）

  基准精确命中率 6.7% / 4% / 2.45%，max 13% / 11.2% / 4.05%   swebench.com/post-20251119-cheating.html，「The average exact match rate…」段

  20240820_honeycomb 精确命中率 78.7/87.2%   同上，「One submission ( 20240820_honeycomb ) was suspicious…」段

  检测脚本三段判据原文   同上，代码块

  all_preds.jsonl 含 2236 条预测   同上，「I found that…」段

  收窄到 500 条后 16/500（~3.2%）   同上，「When I re-ran the analysis…」段

  剩余 1736 条含 gold solutions   同上，「What is strange is that…」段

  「formatting mistake rather than intentional cheating」   同上

  「Going forwards, we plan to run this script…(>20%)」   同上

  提交目录现存仅 README.md、all_preds.jsonl 404   api.github.com/repos/SWE-bench/experiments/contents/evaluation/verified/20240820_honeycomb，本轮实测

博客元信息：标题 [SWE-bench Verified] Detecting cheating in submissions，

中文侧的既有覆盖（本篇必须与它划界）

《SWE-bench 满分，0 个 bug 修复：伯克利造了个专门作弊的 AI》（转载自新智元）

rdiframework.net/news/detail/796729340739653，已打开核对全文。

它讲的是主动攻击：伯克利团队用一个 conftest.py 挂进 pytest 钩子，

把测试结果改写成「通过」，500 题满分、0 个 bug 修复；顺带攻破 8 个基准；

另有宾大审计与 Anthropic Mythos Preview。

与本篇是两件事：那是有人主动打评测框架；本篇是没人打，

是官方自查时发现历史上从来没有校验过提交文件。

逐词核对该文，honeycomb / 2236 / 1736 / gold patch / 检测脚本 / 时间点均未出现。

本篇不成立的结论（免得被过度引用）

1. 不能说 SWE-bench 的分数不可信。 被正式计分的那 500 道题，官方重跑结果是

   16/500（~3.2%），落在正常区间。

2. 不能说 Honeycomb 作弊。 官方定性是格式错误，且无任何得分收益。

3. 不能说「>20% 是通用标准」。 那是 SWE-bench 一家为自己定的复核线。

4. 不能拿本文去质疑具体某个模型的分数。 本篇讲的是校验缺位，不是分数造假。

5. 中文侧同题材已有覆盖，本篇的差异化只在「官方自查 + 这组锚点」，

   不在「我发现了一个大新闻」。

评测方拿到一份提交文件，跑完 500 道题，报一个分数。整个链路干净利落。只是从来没有人问过一件事：这份提交文件本身，合格吗？

SWE-bench 的 500 道题收到 2236 条预测，我才发现它从没验过提交文件

SWE-bench 官方 2025-11-19 才第一次校验「提交文件里有没有混进标准答案」。检测脚本把提交补丁和 gold patch 逐 hunk 逐字比对，Verified 集上正常提交精确命中率平均 6.7%、天花板 13%，有一份是 78.7%。查出来那份 all_preds.jsonl 里有 2236 条预测，而评测集只有 500 道题。

测试

人工智能

开发工具

SWE-bench官方在2025年11月19日自查发现，此前所有提交文件从未经过输入校验。一个名为20240820_honeycomb的提交在Verified集上精确命中率达78.7%，远超正常13%的天花板，经查是误将标准答案打包进预测文件。虽然正式计分的500道题表现正常，但暴露了评测链路长期缺乏输入验证的问题。官方现已增设>20%精确命中率的复核机制。

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

SWE-bench官方在2025年11月19日自查发现，此前所有提交文件从未经过输入校验。一个名为20240820_honeycomb的提交在Verified集上精确命中率达78.7%，远超正常13%的天花板，经查是误将标准答案打包进预测文件。虽然正式计分的500道题表现正常，但暴露了评测链路长期缺乏输入验证的问题。官...

SWE-bench 的 500 道题收到 2236 条预测，我才发现它从没验过提交文件

SWE-bench 的 500 道题收到 2236 条预测，我才发现它从没验过提交文件

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐