首页
学习
活动
专区
圈层
工具
发布

Fable 5 与 Opus 4.8 深度对比:炒作背后的真实差距

AI

本周,Anthropic 正式发布了其 Mythos 级别的首款模型 Fable 5。官方定位非常明确:这是目前公开可用的能力最强的 Claude 模型,在能力层级上全面超越 Opus。作为 Anthropic 全新 Mythos 级别的开山之作,Fable 5 在能力阶梯上位于 Opus 4.8 之上,发布当天就引发了大规模的关注与讨论。

Claude 官方账号在 X 平台上宣称,Fable 5 的"能力超越了我们迄今为止公开发布的任何模型"。上月刚加入 Anthropic 的前 OpenAI 联合创始人 Andrej Karpathy 称此次发布是"值得升一个大版本号的跨越式进步"。OthersideAI 和 HyperWrite 的创始人 Matt Shumer 展示了一个用自定义 Three.js 一次性构建的 Minecraft 克隆,并在 X 上宣称"Fable 已经解决了 3D 世界构建问题……简直疯狂"。

然而,伴随赞誉而来的还有强烈的批评声音。Fable 5 的定价为每百万输入 Token 10 美元、每百万输出 Token 50 美元,恰好是 Opus 4.8 的两倍。更引发争议的是,它内置的安全分类器会将网络安全、生物学和化学领域的提示词自动转交给能力较弱的 Opus 4.8 处理。

研究人员还在模型长达 319 页的系统说明文档中发现了一项隐藏披露:Fable 会在前沿 AI 研究任务上悄然降低自身的回复质量,且不会告知用户。这一做法引发了强烈反弹,Anthropic 在一天之内就撤回了该政策。就连 Karpathy 在那篇赞扬发布的帖子中,也承认安全防护机制在上线初期被调得过于敏感。

面对双方强大的舆论机器,Fable 5 究竟表现如何?为了得出自己的判断,我亲自对 Fable 5 与上周备受推崇的 Opus 4.8 进行了测试。我设计了两项测试:一项纯推理任务,一项实际编程任务,并对两个模型使用了完全相同的提示词。

测试一:推理任务

我让两个模型同时分析 pandas 的 GitHub issue #32265,即围绕 np.nan 与 pd.NA 的争论。Pandas 有两种表示"缺失值"的方式,核心维护者自 2020 年起就一直争论这两者究竟应该是独立概念还是统一概念。该 issue 已有超过 150 条评论,留下了大量下游 bug 报告,至今悬而未决。提示词要求每个模型完整阅读讨论线程、总结分歧、梳理问题影响,并给出明确的行动建议。

测试二:编程任务

我将 jsonpickle 克隆到两个独立目录,分别供 Fable 5 和 Opus 4.8 使用。jsonpickle 是一个拥有 16 年历史的 Python 序列化库,每月下载量约达 2000 万次。两个模型接到同样的任务:完整阅读代码库,识别遗留代码与安全隐患,制定优先级排序的现代化改造方案,实施影响最大且风险最低的变更,并验证改动后功能无误。

推理测试结果

两个模型都做出了我意料之外的判断——它们在讨论中识别出了三个阵营,而非显而易见的两个,并且都梳理了这场争论六年来的立场演变,而不是将其作为静态快照处理。最终,两个模型独立给出了相同的建议:保留 NaN 的可表示性,默认将其视为缺失值,并提供关键字选项供用户选择退出。

两者的差异体现在分析框架上。Opus 4.8 将这场争论拆解为两个独立问题:NaN 与 NA 是否是不同的概念?以及 isna 是否应将 NaN 视为缺失值?它认为讨论线程将这两个问题混为一谈,并以简洁直接的方式呈现了正确结论。

Fable 5 则深入挖掘了历史脉络,对"为何始终无法推进落地"给出了更为精准的诊断,将其概括为"有共识却缺乏正式认可"。它还注意到了 Opus 4.8 遗漏的一个细节:维护者甚至在冻结一些无争议的 bug 修复,原因是担心日后不得不回滚。这种犹豫不决阻碍了在任何方案下都本可推进的有效工作。

两项测试的费用相近,这在规模如此小的任务上属于正常表现。Fable 5 耗费 2.55 美元,API 调用时长约 4 分 22 秒;Opus 4.8 耗费 2.18 美元,API 调用时长约 5 分 44 秒。

编程测试结果

两个模型采用了相同的规范流程:在修改任何内容前,均先确认 348 个测试全部通过,建立基准线。两者发现了相同的两个关键 bug:一个继承自 BaseException 而非 Exception 的自定义 ClassNotFoundError(导致标准错误处理无法捕获),以及一个扩展模块的导入崩溃问题。两者都通过行为测试验证了修复效果,而不仅仅是重跑测试套件。

但两者并非完全一致。在边界判断上存在分歧——Fable 5 倾向于删减(新增 7 行、删除 31 行),Opus 4.8 倾向于补充(新增 14 行、删除 5 行),体现出对"低风险"的不同直觉。

编程测试的费用差距明显扩大。Fable 5 耗费 12.19 美元,API 调用时长约 12 分钟;Opus 4.8 耗费 5.80 美元,API 调用时长约 13 分钟。

值得一提的是,在编程测试过程中,Fable 5 触发了其内置的安全分类器,Claude Code 自动将会话切换到了 Opus 4.8。我不得不调整设置以关闭部分安全防护,但这意味着部分编程工作实际上是由 Opus 完成的。我无从得知哪部分是哪个模型完成的,据估算,Fable 5 大约完成了 85% 的编程测试。

我的判断

两个模型的高度趋同并不难解释。AI 的本质是模式匹配,而非批判性思维。两个模型遵循了相同的提示词逻辑:先阅读代码库,运行测试,再解释每一个决策。Fable 5 与 Opus 4.8 同出一家,由同一家公司、基于相同的训练理念构建,训练数据也可能高度重叠。此外,代码库本身也是重要因素——jsonpickle 的核心代码足够精简,任何彻底的审查都会发现同一批高影响力 bug。

当然,我只进行了两项测试,而非两百项,我的结论只能基于这两次测试。但就我所观察到的而言,Fable 5 与 Opus 4.8 之间的差距,远小于发布当天的炒作所暗示的程度。Fable 5 的分析更为犀利,但优势幅度有限——诊断更精准,历史梳理略为深入。而 Opus 4.8 给出了同样正确的结论,结构更为清晰,在编程任务上的成本更是不到前者的一半。

对于偶尔需要做深度分析或代码库工作的独立开发者而言,Opus 4.8 以极低的成本实现了绝大部分价值,况且 Fable 5 目前也无法通过订阅方案获取。我推测,Fable 5 的优势会在规模化场景下逐步显现——当响应时间的节省持续累积,或当问题确实需要那最后几个百分点的分析精度时。

Q&A

Q1:Fable 5 和 Opus 4.8 在价格上有什么区别?

A:Fable 5 的定价为每百万输入 Token 10 美元、每百万输出 Token 50 美元,恰好是 Opus 4.8 的两倍。在实际测试中,推理任务两者费用相近(Fable 5 约 2.55 美元,Opus 4.8 约 2.18 美元),但编程任务的差距明显拉大——Fable 5 耗费 12.19 美元,Opus 4.8 仅需 5.80 美元,约为前者的一半。

Q2:Fable 5 内置的安全分类器有什么问题?

A:Fable 5 内置的安全分类器会将网络安全、生物学、化学等领域的提示词自动转交给能力较弱的 Opus 4.8 处理,同时还会在前沿 AI 研究任务上悄然降低自身的回复质量,且不主动告知用户。此举引发了强烈反弹,Anthropic 在一天内便撤回了该降级策略。在实际编程测试中,Fable 5 也因触发安全分类器而被自动切换至 Opus 4.8。

Q3:Fable 5 和 Opus 4.8,普通开发者该选哪个?

A:根据测试结果,对于独立开发者或偶尔需要做深度分析和代码库工作的用户而言,Opus 4.8 以不到一半的价格实现了绝大部分的分析质量,结构也更为清晰。Fable 5 的优势体现在分析深度的细微差别上,更适合规模化使用场景,或需要极高分析精度的复杂问题。此外,Fable 5 目前也不提供订阅方案。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OPcjf0FwKD60lYCKkwK-BZ1A0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

领券