
## 摘要

腾讯 Hy4 在第三方智能指数拿到 35 分、位居国内实验室第二，同时在 AA-Omniscience 上准确率 50%、幻觉率 89%——也就是说，它不知道答案的时候，89% 的情况会编一个出来而不是说不知道。这两个数字指向同一个问题：**能力分和"知道自己不知道"的能力，是两套不同的东西。** 本文拆开讲分数该怎么分层读、哪四个维度必须分开记、以及上线前必须补的三项测试。

![image.png](https://developer.qcloudimg.com/http-save/yehe-9678105/e950ea6e3033c9227628ca343d06d1bf.png)


先说两组摆在一起会很奇怪的数字。

腾讯 Hy4 正式版（2026 年 11 月 4 日发布）在 Artificial Analysis 的智能指数上得 35 分，是中国实验室里的第二名；在 FrontierCode 2.0 上 31%，为国内最高。但在 AA-Omniscience v1.1 这项评测里，它拿到 50% 的同时，**幻觉率高达 89%**。

50 分和 89% 幻觉率出现在同一份报告里。很多人的第一反应是"这两个总有一个是错的"，其实两个都没错——它们测的是不同东西。

另一边还有一个更贴近日常的细节：同一份成绩里，Hy4 的单任务成本约 0.78 美元，比 Grok 4.7 便宜约十倍，比 Claude Haiku 5.5 贵近一倍。性能、成本、可靠性三样东西，摆在同一页纸上，彼此不相关。

这两件事放在一起，正好构成模型选型时最常被忽略的那一半：**评测分数回答的是"它能力有多强"，而你要的是"它在我的业务里能不能稳定干活"。**

### 一、50 分和 89% 幻觉率，为什么可以同时成立

把 AA-Omniscience 这类评测拆开看就清楚了。它衡量的是模型"知道多少"——在一批知识型题目上答对了多少。答对比例 50%，说明它在一半题目上给出了正确答案。

幻觉率衡量的是另一件事：**在它其实不知道的时候，有多少次是编一个出来而不是承认不知道。** 如果剩下那一半没答对的题里，绝大多数不是"说不知道"而是"自信地给了个错答案"，幻觉率就会很高。换句话说，89% 不是"全部回答里错了 89%"，而是"不知道的时候有 89% 不肯承认"。

这两个指标可以同时很高，因为它们的分母不同——前者数全部题目，后者只数它其实不知道的那些：

| 指标 | 分母 | 回答的问题 |
|---|---|---|
| 准确率（50%） | 全部题目 | 有多少题答对了 |
| 幻觉率（89%） | 它不知道的那些题 | 不知道时是承认还是编造 |

模型可以在"知道很多"的同时"不知道就说"的能力很差。这对写代码、算数学影响不大——错了测试会红；但对**知识型产品**是致命的，因为它的错误是流畅的、格式正确的、看起来可信的。

这条对测试团队的直接含义是：**"模型能不能用"这个问题，不能用任何一个综合分回答。** 你需要先确定你的业务容不容得下"编造"。

### 二、四个维度必须分开记

我把选型时要看的指标归成四类。它们互相不能替代，混成一个数就会误判：

**第一类，能力分。** 智能指数、编程评测、数理推理这些。它的作用是**筛掉明显不够用的**，不是用来排序的。9 个模型前五名差 1 到 2 分，这个差异在你的业务里根本体现不出来。

**第二类，可靠性分，重点是幻觉率和指令遵循。** 这一类决定它会不会"自信地做错"。特别提醒：指令遵循分数低，在长任务里会放大成灾难——单轮看不出，十轮之后它的理解已经偏了。

**第三类，工程指标，这是排行榜从不体现的。** 价格只是其中一项。更少被看的是：峰值并发下的成功率、限流时的错误码、超时行为、以及有没有可降级的备选模型。一个模型在单次调用上表现再好，接进每天几十万次调用的业务里，故障切换路径没验证过，一样是裸奔。

**第四类，成本口径。** 不是单 token 价格，是**每个被接受的结果要花多少钱**。一个便宜模型如果返工两次才通过，它比贵一倍但一次过的模型更贵。这一条在 AI 编码场景里尤其明显。

![image.png](https://developer.qcloudimg.com/http-save/yehe-9678105/4d1ff51758edecb32e5878bb59e95189.png)


### 三、第三类指标怎么测：三个具体动作

前两类可以抄排行榜，第三类只能自己测。三个动作，都不复杂：

**动作一，压到限流，看它怎么失败。** 不是测"能撑多少 QPS"，是测**限流那一刻发生了什么**。返回 429 还是超时？超时了多久？重试会不会雪崩？有没有降级路径？这件事必须在预发环境里真的压一次，因为限流后的行为和你读文档想象出来的通常不一样。供应商侧的限流通常按账号配额生效，所以你压的其实是你自己的配额边界。

**动作二，把"配额耗尽"当成一种正常失败态来设计。** 任何按量计费、按配额限流的服务，配额耗尽都是迟早会发生的事，不是异常。你的系统里要有对应处理：高峰期降低并发、非关键任务排队、关键任务预留配额。这属于产品设计，但测试要验证它真的生效——而不是等到配额见底才发现队列没上限。

**动作三，准备并验证降级路径。** 一个核心链路只挂一个新模型，风险极高。至少要有一条"切到备选模型"的路，而且这条路要在正常情况下演练过——很多团队的降级开关写了，从来没按过，真按下去发现配置是错的。

### 四、评测分数还有一个很容易被忽略的问题：口径

SuperCLUE 2026 年 11 月的榜单里有一组数据很值得注意：在智能体编程这一项，19 个模型里有 16 个低于 60 分，占比约 84%；单题限时 3 小时，有的模型超时占比高达 69%。

这组数据说明两件事。**一是评测的分母在变**——同一批模型，如果在"智能体编程"这个维度上普遍低分，那说明的不是"这些模型都很差"，而是"这个维度本身很难"。**二是有很多隐形变量**：超时算不算失败、交互轮数算不算成本、token 消耗怎么折算。

同一份榜单，GPT-6.1-Sol 用 14.58 轮/题拿到 69.23 分，另有模型用 88.88 轮/题拿到 46.15 分；token 消耗最高的是最低的约 13 倍。这些数字比总分更能说明"用起来是什么体感"。

所以引用任何评测分数时，三件事必须一起说：**谁测的、口径是什么、在哪个维度上。** 少了任何一个，这个分数就不该被写进选型报告。


![image.png](https://developer.qcloudimg.com/http-save/yehe-9678105/ba212ffe380bbae126f4c69f82e8d43d.png)


### 五、幻觉率怎么自己测：三档成本

排行榜上的幻觉率是别人在别人的题目上测出来的。你自己业务的幻觉率只能自己测。按成本排三档：

**最低档，抽 50 条真实问题人工核。** 从你的日志里捞 50 条真实用户提问，用新模型重跑一遍，让人逐条判断答案里的事实对不对。这一步花半天，能给出一个量级感——它不精确，但足够判断"这个模型能不能进下一步"。关键是问题要真实：自己编的题目往往比真实提问更规整，测出来的幻觉率会偏低。

**中档，建一份带标准答案的事实库。** 挑 100 条你业务里有确定答案的问题（订单状态、政策条款、参数规格），把正确答案写下来，然后自动比对。这一步的价值在于可以重复跑——换模型、换提示词、换版本，都能用同一份库对比。它测的偏"知识准确性"，测不了"流畅地编造"，所以要和人工抽检配合。

**高档，构造"本该说不知道"的题。** 这是最能暴露幻觉的一类：问一些你的系统里根本不存在的信息（不存在的订单号、没有的政策、虚构的产品型号），看它说"查不到"还是"给你编一个"。**一个模型在"不知道"时的表现，比它在"知道"时准不准更能决定它能不能上线。** 因为知道的时候往往有检索兜底，不知道的时候全靠它自己的判断。

三档的做法有一个共同前提：**你要先定多少算过。** 很多团队测完不知道结论，就是因为事前没写下阈值。建议在上线前把线画死，比如"本该说不知道的题里，编造率必须低于 2%"，然后按这个线判断，而不是跑完再看数字顺眼不顺眼。

### 六、什么情况下不用这么麻烦

坦率说，不是所有团队都需要这套东西。

**如果模型只在一个内部小工具里、输出由人复核后再使用**，那幻觉率高低影响有限，你只需要看能力和成本。

**如果业务本身容错很高**（比如生成营销文案草稿、整理会议纪要初稿），编造的代价是"人改一下"，那也不必为了 89% 这个数字放弃一个便宜好用的模型。

**反过来，只要满足任一条，就必须把可靠性指标放到能力分前面**：输出会直接进生产系统（自动改代码、自动下单）、输出会被当作事实引用（知识库问答、金融分析）、输出会进合规材料。这三类里，一次编造的成本远高于一年省下的 token 费。

### 写在最后

回到那两组数字。50 分说明它知道不少，89% 幻觉率说明它不知道自己不知道。这两个特质放在一起，构成一个很典型的现代模型画像：**能力在涨，但它对"我不确定"的表达能力没跟上。**

对测试团队来说，这意味着验收标准要跟着变：不是"它答得对不对"，而是"它答错的时候，有没有能力让你看出来"。前半句是评测机构的事，后半句只能你自己测。

>本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料，主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容，侧重测试实践、工具应用与工程经验整理。



腾讯 Hy4 在第三方智能指数拿到 35 分、位居国内实验室第二，同时在 AA-Omniscience 上准确率 50%、幻觉率 89%——也就是说，它不知道答案的时候，89% 的情况会编一个出来而不是说不知道。这两个数字指向同一个问题：能力分和"知道自己不知道"的能力，是两套不同的东西。 本文拆开讲分数该怎么分层读、哪四个维度必须分开记、以及上线前必须补的三项测试。

腾讯 Hy4 的独立评测成绩：35 分，但"不知道就说不知道"的能力只有 11%

人工智能

腾讯Hy4智能指数35分居国内第二，但AA-Omniscience准确率50%、幻觉率89%，凸显能力分与"自知不知"是两套体系。本文拆解分数分层读法，强调能力、可靠性、工程、成本四维分开记，并给出上线前必测的限流失败、降级路径及幻觉率三档自测法。

软件测试

智能体

让每一个 Agent，都跑在云上

lexiang

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

腾讯 Hy4 的独立评测成绩：35 分，但"不知道就说不知道"的能力只有 11%-腾讯云开发者社区-腾讯云

腾讯 Hy4 的独立评测成绩：35 分，但"不知道就说不知道"的能力只有 11%

腾讯 Hy4 的独立评测成绩：35 分，但"不知道就说不知道"的能力只有 11%

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐