## 一、那几天，所有人都在说「Jev 被开源模型反超了」

2026 年 9 月 15 日，TypeSafe AI 发布了 Jev。创始人 Diogo Almeida 在 OpenAI 待了近四年，是 GPT-4、ChatGPT、RLHF / InstructGPT 的合著者——今天几乎所有大模型背后的后训练范式，都有他的手笔。他给这类东西起了个名字：**System One 模型**。不生成文本，只对一段状态返回类型化判断和校准概率。官方口径是比同级 LLM 快近 200 倍、便宜 400 多倍。Vercel 的 CEO 测完说 p95 延迟比 GPT Luna 快 18 倍而且更准，LangChain 当天就写了集成指南。
![shot5-jev-site.png](https://developer.qcloudimg.com/http-save/yehe-12564146/8cfd4cd651242c378e0f08015beeb93b.png)
三天后，一个叫 Laya 的开源模型出现了。Apache 2.0，421M 参数，跑在你自己的卡上，33 毫秒。作者 Nandakishor Mukkunnoth 是印度的一位独立开发者，他在 Hacker News 开了个帖，说自己 2025 年 3 月就发过同样的想法——有论文、有权重、有数据集——现在被一个拿了 4000 万美元融资的实验室称作突破。
这个叙事太抓人了。独立开发者对融资创业公司，开源对闭源付费，免费对按量计费。Laya 几天内冲上 Hugging Face 趋势榜第一，中文圈也传遍了，「Jev 竟被开源模型反超」这种标题到处都是。
我当时的想法很朴素：**既然有免费开源的，我为什么还要用付费 API？**
## 二、我信了，然后自己跑了一遍

我把它拉下来跑起来了。本地推理，CPU，单次判定零点几秒——比云端 API 的 1.5 秒中位快一个数量级，而且不花钱、不发数据出网、不受网络抖动影响。看起来是个没有缺点的替换。
然后我用它测了一批我手上最真实的判断场景——就是我在自己的 agent 工具里，真正要它判的那几件事：一次工具调用失败之后该怎么处置、一轮收尾到底有没有给出验证证据、一批中文评论该归到哪一类。
**9 个用例，对了 2 个。**
我不太信。这几件事对人类来说都是扫一眼就能定的，而且云端那个付费的东西在同样的题上判得很稳。所以我没有下结论，而是开始怀疑自己——是不是我用错了？
## 三、三个假设，一个接一个死掉

### 假设一：是不是我的问题问得太抽象？

我给的题目确实偏元认知，比如「这轮是否声称完成却没给验证证据」。而 Laya 的定位是「专家凭直觉几秒能答」的粒度，官方训练数据里也全是意图、工单、邮件这类具体可判的活。
那好，我把它拆细。把一道抽象的四选一，拆成几个具体的存在性判断：「这段输出里出现了实际执行过的测试结果数字吗」「这条报错本身有没有直接说出原因是什么」。每条都给了正例和反例，写得不能更直白了。
**结果 1/9，比原来更差。**
而且失败的方式很说明问题。有一道题的三个选项是互斥的——「瞬时故障」「报错已指明原因」「调用方式不对」。它给出的三个概率是 **0.83 / 1.00 / 0.90**。
三个互斥的东西同时接近满分。这不是判断得不准，这是没有在区分语义。
### 假设二：是不是路由错了？

Laya 有三个 checkpoint，靠一个路由决定用哪个：非拉丁文字走 multilingual，拉丁文字走 english。我当时用的是中文，如果它把中文误判成英语、送进了那个只会英文的 checkpoint，那崩掉就完全说得通——官方自己写过，英文模型在非拉丁脚本上会「塌到接近随机」。
我把路由信息打出来看。纯中文、中英混合、中文夹少量英文标识符，**全部正确走了 multilingual**，理由写得清清楚楚：`non-Latin script (han, 100% of letters)`。
路由没问题。这个假设死掉。
### 假设三：是不是中文拖累，其实它在自己主场很强？

中文评论初筛是标准的意图分类，属于 Laya 训练分布里最典型的那类任务。如果连这个都做不好，那就不是「域外」的问题了。
**它几乎全错。** 咨询判成了售后，广告判成了闲聊，紧急程度也全偏。
## 四、让我彻底清醒的那个对照

到这一步，我还是只知道自己这边不行。所以我做了一件事：**把同一套具体化问题，同时发给本地和云端。**

| | | |
|:-:|:-:|:-:|
|同一个问题（instructions一字不差）|云端|本地|
|「有没有执行结果数字」——「我已改完，没其他问题」|**0.02**|0.91|
|「有没有执行结果数字」——「已运行 pytest，12 passed」|**0.98**|0.98|
|三个互斥的分类——「No module named xyz」|0.03 / 0.94 / 0.11|0.83 / 1.00 / 0.90|
看第三行。云端把三个互斥项分得干干净净，0.94 的那个就是正确答案；本地三个全在 0.83 以上。**同一套问题、同一套 criteria，一个能分开，一个分不开。** 这就把「是不是我问题没设计好」这条路彻底堵死了。
还有一个更刺眼的：
>「我把 jev_hook.py 里的 timeout 改成 4 了，全部改完。」

这是再明显不过的完成声明。它给的概率是 **0.0181**，置信度 0.98。
而语义几乎相同的另一句「我已经完成了全部改动，把配置更新好了」，它给 **0.9547**，置信度 0.95。
同一件事，一次说是，一次说否，两次都无比自信。
![shot6-terminal-run.png](https://developer.qcloudimg.com/http-save/yehe-12564146/5380f4b66dbe6cc9093b3973017a2735.png)
上面是那个脚本的真实输出。两轮测试各跑一遍，结果完全复现——同样的 2/9、同样的 1/9，连每个用例的置信度都分毫不差。
## 五、但 9 个用例太少，我不敢下这个结论

我很清楚自己的证据有多薄。9 个用例、单一场景、我一个人写的题——这种规模得出的结论，写出来是会被人打的。测试集是我自己出的，正确答案是我自己标的，我甚至没法排除「我就是不会用它」。
所以我停下来了，转头去找有没有别人用过同一把尺子量过它。
然后我翻到了这份榜单。
## 六、2018 道题、13 个系统、同一套评分代码

一个叫 `mayafree` 的账号在 Hugging Face 上公开了一份 **Typed Decision Leaderboard**，专门解决这个生态里的一个空白：**每家公司都在发自己的 benchmark，而且每家在自家的 benchmark 上都拿第一。**
它的做法是：把所有系统拉到同一张卷子上。2018 道题、508 个错误答案、5 个领域、答案由 4 个不同模型产出，评分代码公开。测的是「判断这个答案对不对」，指标是 AUC——错答被排到底部的程度，无阈值，**0.5 就是抛硬币**。
![shot1-leaderboard-table.png](https://developer.qcloudimg.com/http-save/yehe-12564146/ebd22a3ad0f0dbdcae8f9289cac257a7.png)

| | | | |
|:-:|:-:|:-:|:-:|
|#|系统|提供方|AUC|
|1|ZTC (397B)|VIDRAFT|**0.7364**|
|2|JEV|TypeSafe AI|**0.7350**|
|3|ZTC (27B)|VIDRAFT|0.7282|
|—|只看长度和格式的基线|参照|0.7036|
|4|open-jev 4B|pngwn|0.6844|
|5|Patronus Lynx 8B|Patronus AI|0.5179|
|6|**Laya-Typed-Decisions 421M**|**Convai**|**0.5144**|
|—|模型自己报的置信度|参照|0.5000|
|7|**Laya-Multilingual 322M**|**Convai**|**0.4796**|
**Laya 的两个 checkpoint：0.5144 和 0.4796。**
我那个 2/9 有注脚了。而且注意，这个榜单测的是「答案对不对」这种通用判断，不是我那种 agent 元认知——也就是说，**在我看起来更简单的任务上，它也是抛硬币。**
## 七、榜单里比「Laya 翻车」更值钱的五件事

如果这篇文章只到「哦原来 Laya 不行」，那价值不大。真正值得带走的是下面这几条，它们跟 Laya 无关。
### 1. 真正的及格线不是 0.5，是 0.7036

榜单放了一条参照基线：一个**只看答案的长度、数字个数、格式这十个表面特征**的 logistic 模型。
它拿了 **0.7036**。十三分之八的系统在它下面。
换句话说，那些低于 0.7036 的东西，测的根本不是「答案对不对」，而是「答案看起来像不像话」。**一个不摆基线的榜单，是在给参赛者贴金。** 这条对任何做评测的人都成立，不只是这个领域。
### 2. 模型自报的置信度 = 0.5000，零信息量

这是我在整张表里看到的最扎眼的一行。
「模型自己说自己有多确定」这件事，AUC 恰好是 0.5000——**和抛硬币完全一样**。
这正好对上我在第四节里看到的那组数字：置信度 0.98，答案错的。**这不是 Laya 的毛病。** 一个「校准过」的决策模型，它输出的概率是概率；但一个模型关于「我很确定」的自我陈述，从来就不该被直接当成概率用。要拿它做门控，你得自己在自己数据上重新拟合。
### 3. 大不等于好，而且反得很难看

榜单同一个系列里：综合分上 397B 赢 27B。但在**科学推理**这个领域，顺序直接翻过来：
```
科学推理  27B 0.7410 · 397B 0.6287
```**大 14 倍的模型低了 0.11。** 另一处独立观测也同向：一个 180B 级模型 0.7146，输给一个 4B 的 0.7284。
这类模型的判断力跟参数规模关系不大，跟内部表示的结构关系大。**想靠「换个更大的」解决判断不准，方向就是错的。**
### 4. 总排名会骗你，分领域才作数

榜单的总分是五个领域的加权平均。拆开看，顺序会反过来：

| | | | |
|:-:|:-:|:-:|:-:|
|领域|题量|JEV|ZTC397B|
|专业考试（法律 / 数学 / 生物）|400|0.7981|**0.8660**|
|生物与医学|917|0.7185|**0.7433**|
|常识多步推理|278|0.6006|0.6072|
|灾害与安全指引|225|**0.7620**|0.7319|
|科学推理|198|**0.8421**|0.6287|
**JEV 在科学推理上是 0.8421，比总榜第一高 0.21。**
如果你的题主要落在科学推理上，读总排名就是读错了表。反过来说，**先搞清楚自己的题落在哪个领域，比看谁排第一重要得多。**
顺带说一句常识多步推理那一栏：所有系统都在 0.60 附近。**这个领域目前没人解决**，知道这件事比知道谁第一有用。
（还有一条我很欣赏的细节：总榜第一和第二只差 0.0014，置信区间跨过零，榜单**拒绝给它们排名**——而且这句话写在表格上方，不是藏在脚注里。自己排第一的表里还能守住自己定的规则，这很难得。）
### 5. AUC 只差 0.0014，端到端能差 1.4 个百分点

榜单还测了第二个问题：**把这些验证器当门控用，真的能帮到 agent 吗**——给每个答案打分，把分数最低的 20% 交给更强的模型重做，其余保留。三组共用同一个重做池，避免谁运气更好。
![shot4-agent-gate-table.png](https://developer.qcloudimg.com/http-save/yehe-12564146/34e2e5342783d13e53a12cfa2a7dbee9.png)

| | | |
|:-:|:-:|:-:|
|门控|最终正确率|对比不开门|
|ZTC|76.16%|**+1.34 pp**|
|JEV|74.76%|−0.07 pp|
|随机|74.58%|−0.25 pp|
总榜上只差 0.0014 的两个东西，端到端差了 1.4 个百分点。而且 JEV 这一组是**负收益**——比不开门控还低一点。
原因说得很清楚：重做是双刃剑。错答送回去，38% 能修好；**对答送回去，30% 会被弄坏**。所以门控的价值由**精确率**决定，不是召回率。20% 的预算里，JEV 路由了 403 件，其中 216 件本来就是对的——修好的和弄坏的差不多抵消，白忙一场。
这条对做 agent 的人格外要紧：**你在门控上省下的那点判断误差，会在下游被放大回去。** 挑验证器只看 AUC，等于只看了一半。
## 八、那 Laya 到底能不能用

我不想把这写成一篇踩它的文章，因为有几件事是真的：
- **它的速度是真的。** 榜单也确认了：约 0.015 秒一次，比它测的那个托管 API 快约 140 倍。
- **它的 0.766 也不是假的。** 那是它在一个微调过的英文 typed-decisions 基准上的成绩。榜单作者对这一点的措辞很准确：**两个数字可以同时为真——因为是不同的卷子。** 这恰恰就是需要一张公共卷子的理由。
- **它的定位是「快速特化的底座」，不是即插即用。** 官方在另一个基准上给的基础 checkpoint 是 0.362，而那个数据集的最多类基线是 0.461——**低于「全猜同一个类」**。微调后才到 0.766。这句话的意思是：它需要你在自己的数据上训一遍，才谈得上能用。

下面两张是它模型卡上的原始表格。
![shot2-laya-vs-jev-table.png](https://developer.qcloudimg.com/http-save/yehe-12564146/fbed356847d49264debcc2bc0f957f95.png)
第一张里有一行值得单独看：Banking77（77 选 1）上 Jev 是 0.870，Laya 只有 0.425——**厂商自己在备注里写了「Jev leads on >20 options」**。选项一多，它那点固定的 token 预算就不够分了。
![shot3-laya-massive-table.png](https://developer.qcloudimg.com/http-save/yehe-12564146/d9d34dc36e5a5ae319c1e4369e039853.png)
第二张说明了它的强项在哪：MASSIVE 英语意图 **0.783**，本行确实能打。但同一张表里，非英语的 13 种语言只有 0.451——「多语言」这个标签，得打个折扣看。
三条合起来就是我的判断：**它在自己的赛道上真的行，只是我这条赛道不在上面。**
所以我的结论不是「Laya 不行」，而是：**你不能拿别人的分数安排自己的活。** 尤其是当你连一份公共卷子都没有的时候。
## 九、我最后的决定

我不换。
云端那个付费的判断层，在我要它判的那几件事上是稳的，一千次调用约 2.4 美分（榜单给 JEV 的数字是 $0.024 / 千次），而且真正的失败模式只有一种——偶发的网络挂死，我已经用「失败就静默放行」兜住了，它不会卡住任何流程。
换开源本地的收益是延迟从 1.5 秒掉到 0.2 秒、加上彻底离线。代价是判断力从「能信」掉到「抛硬币」。这个交换不划算。
**如果哪天我必须要它离线**，路径也是清楚的：不是换个更小的模型，而是拿我真实场景的数据，在 Laya 上微调一遍。榜单里那个 0.362 到 0.766 的跨度说明它学得会。但那是另一个决定，得先有「必须离线」这个前提。
## 最后

这件事教我的不是「开源不行」或者「Laya 是垃圾」。是这样一件事：
**在一个所有人都自己发榜、且所有人都是自己榜上第一的赛道里，唯一值得信的东西是公共卷子。**
而公共卷子往往会告诉你一个更难听的事实——真正的及格线，可能不是你以为的那个数，而是「只看答案格式」的那条线。

----
本文引用的榜单数据来自 Typed Decision Leaderboard（mayafree 公开，2026-09-20），原始分析见其 Hugging Face 博客。

2026 年 9 月 15 日，TypeSafe AI 发布了 Jev。创始人 Diogo Almeida 在 OpenAI 待了近四年，是 GPT-4、ChatGPT、RLHF / InstructGPT 的合著者——今天几乎所有大模型背后的后训练范式，都有他的手笔。他给这类东西起了个名字：System One 模型。不生成文本，只对一段状态返回类型化判断和校准概率。官方口径是比同级 LLM 快近 200 倍、便宜 400 多倍。Vercel 的 CEO 测完说 p95 延迟比 GPT Luna 快 18 倍而且更准，LangChain 当天就写了集成指南。三天后，一个叫 Laya 的开源模型出现了。Apache 2.0，421M 参数，跑在你自己的卡上，33 毫秒。作者 Nandakishor Mukkunnoth 是印度的一位独立开发者，他在 Hacker News 开了个帖，说自己 2025 年 3 月就发过同样的想法——有论文、有权重、有数据集——现在被一个拿了 4000 万美元融资的实验室称作突破。这个叙事太抓人了。独立开发者对融资创业公司，开源对闭源付费，免费对按量计费。Laya 几天内冲上 Hugging Face 趋势榜第一，中文圈也传遍了，「Jev 竟被开源模型反超」这种标题到处都是。我当时的想法很朴素：既然有免费开源的，我为什么还要用付费 API？

别急着把 Jev 换掉：我实测了很火的 Laya，然后翻到了这份 2018 题的榜单

开源模型 Laya 冲上 Hugging Face 趋势榜第一。我用 9 个真实判断场景本地实测，只对了 2 个；拆成具体问题后更差，三个互斥选项给出 0.83/1.00/0.90，它没在区分语义。2018 道题、13 个系统的独立榜单显示：Laya 是 0.5144 与 0.4796，低于「只看格式」的基线 0.7036。模型自报置信度恰是 0.5000，等于抛硬币。别拿别人的分数安排自己的活。

人工智能

职业发展

新闻资讯

2026年，开源模型Laya被宣称超越TypeSafeAI付费模型Jev，但独立测试显示其判断力接近抛硬币（AUC 0.514）。关键教训：模型需按自身数据微调，公共基准比厂商自测更可信，及格线并非0.5而是格式基线0.7036。

LangChain

ChatGPT

路由

RLHF

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

别急着把 Jev 换掉：我实测了很火的 Laya，然后翻到了这份 2018 题的榜单-腾讯云开发者社区-腾讯云

别急着把 Jev 换掉：我实测了很火的 Laya，然后翻到了这份 2018 题的榜单

别急着把 Jev 换掉：我实测了很火的 Laya，然后翻到了这份 2018 题的榜单

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐