
图 1 本文配图:文章主题场景示意
三倍多这个数字,第一眼看上去像是换了个更强的模型。我不这么看。
同一批权重,换一套上下文组织方式和工具调用路径,解题率能拉开几倍,这在编程任务上早就不是新闻。Neon 接入 Antigravity 这件事,公开信息里只给了结果,没给消融实验。所以我能确定的只有一件事,增益是系统级的,不是参数级的。
这两者的区别很实际。如果是模型变强,你除了等下一版没别的办法。如果是系统变强,那套东西你今天就能在自己机器上拼出来一半。
所以我写这篇不是为了转述一条发布消息。我想把「解题率」这三个字拆开,看看它在工程上到底由哪几段拼成,哪几段是 Neon 带来的,哪几段是 Antigravity 本来就有的。
公开信息未披露具体的评测集构成、题量、单题时限和判定口径。这几个缺失很要命,后面我会专门说它让哪些结论站不住。
一道编程题从读到做对,中间至少有四段。读题、定位相关代码、写出改动、验证改动。任何一段断了,最后都是零分。
单次调用的大模型,四段全压在一次前向里。上下文窗口塞多少它就看多少,看漏了就是看漏了,没有第二次机会。
Agent 式的做法把这四段拆开。它可以先搜一遍仓库,把命中的文件读进来,再决定改哪里,改完跑一遍测试,失败了带着报错回去再改。
这就是为什么同一个模型,套上脚手架和不套脚手架,分数能差出好几倍。差的不是它会不会写这行代码,是它有没有机会在看到报错之后重写一遍。
我的判断是,Neon 这次涨的那部分,主要来自第二段和第四段。定位相关代码靠检索,验证改动靠执行反馈。这两件事恰好是纯模型调用最弱的地方。

图 2 本文示意图:同一件事,落在内网还是公网,今天做还是下周做,判断不一样
至于第一段读题和第三段写码,那才是模型权重真正决定的部分,这部分我不认为一次接入能带来三倍提升。
我见过太多人把整个仓库塞进上下文,然后抱怨模型答非所问。问题不在模型,在你喂给它的东西里,九成是噪音。
真实的项目里,一个函数被谁调用、改了会不会影响别处,这些信息散在几十个文件里。模型一次只能看有限的内容,选错了文件,后面写得再漂亮也是错的。
所以检索这一层不是锦上添花,它是及格线。做法上有几种。按文件名和符号做关键词召回是最土的一种,快,但容易漏掉改了名字的引用。按语义向量召回能补上这一块,但对精确的符号名不敏感。
工程上通常两个都上,召回结果合并去重,再按相关度截断。这套东西跟模型无关,你可以自己搭。
Antigravity 这一侧具体用了哪种召回策略,公开信息里没有写。我只能说,任何能做到「改一个函数之前先把它的调用点找齐」的实现,都会在编程题上拿到明显高于单次调用的分数。
这也是我最想让读者记住的一点。你以为你在比模型,其实你在比谁帮模型把该看的代码找得更全。
写代码这件事有个特点,对错是可判定的。编译过不过、测试绿不绿、类型检查报不报错,这些都是机器能给的确定信号。
一旦有了确定信号,就能形成回路。改一版,跑一遍,错了带着报错再改一版。人类程序员就是这么干活的,Agent 现在也能这么干。
单次调用没有这个回路。它只有一次机会,写错了就错了,评测系统判零分。
所以三倍这个量级,我倾向于认为大头在这里。不是它第一次就写对了三倍多的题,是它在第二第三次尝试里把原本会错的题救回来了。
这个推断有个可验证的预测。如果我的判断对,那么把尝试次数从一次提到三次,收益应该远大于把模型换大一档。反过来,如果评测本身只允许一次提交,那这套增益根本体现不出来。
公开信息没说评测允不允许重试。这一点不澄清,三倍这个数字就没法跟别的跑分横向比。
下面这段伪代码是我按这个思路写的推演,不是任何真实产品的实现。它只想说明回路是怎么转起来的。
如果你不想只信一个跑分,可以自己搭个最小环境验。不用复现三倍,你只要能看出回路有没有起作用就够了。
第一件事,准备一个自带测试的仓库。有测试才有确定信号,没测试的仓库你验不出反馈层的价值。
第二件事,把尝试次数做成可调参数。跑一次和跑三次,看通过率的差值。这个差值就是反馈回路的直接贡献。
第三件事,把检索关掉再跑一遍。全量塞上下文和检索召回,对比一下。差值就是检索层的贡献。
两个差值加起来,大致就是这个脚手架相对裸模型调用的全部增益。剩下的才是模型本身。
下面这段命令只是查一下你本地跑评测用的运行时版本,确保你不是在一个太旧的环境里做对比。版本不一致会让结果没法比。
回路不是白转的。跑三次就是三次推理,token 成本和耗时按次数线性往上走。
解题率涨三倍多,成本大概率也涨了差不多的量级。发布稿里通常只提前者。
检索也有代价。索引要建、要更新,仓库一改索引就旧了。大仓库里这一步的工程复杂度不低。
还有一层更隐蔽的。反馈回路在测试写得好的仓库里效果拔群,在测试覆盖率低的仓库里几乎失效。你没法验证,就没法回头改。
所以我不认为这套方法在所有团队里都能直接拿到三倍。它更像是把「你仓库的测试质量」这个存量因素,一次性兑换成了分数。
测试写得差的团队,接进去可能只涨一点点,然后怀疑是不是产品不行。其实是自己的地基不够。
先说清楚,这篇我没有做复现实验。我手上没有 Neon 接入 Antigravity 的评测环境,也没有拿到它的题集和判定脚本。下面写的验证方法,是我按同类系统的通用规律推出来的自查路径,标了推断的地方就是推断。
我能做的验证只有两层。第一层是逻辑验证,把解题率拆成检索、生成、执行反馈三段,看每一段在单次调用和 Agent 调用下的差异,这个差异是可推的。第二层是环境验证,查我本地评测运行时版本,确保对比不在一个太旧的环境里做,这一段我做了,版本不一致会让任何对比失去意义。
这次没查到的东西,比查到的更该说清楚。评测集是什么,题量多少,判定口径允不允许重试,这三样公开信息都没给。缺了它们,三倍多这个数字没法拿去跟别家的跑分比。
Antigravity 的检索策略、上下文截断规则、单题最大轮次,也都没披露。我上面关于增益分布的判断,是从同类系统的通用规律推出来的,不是从这次的实现里读出来的。
如果后续有人放出消融数据,我最想看的是单独关掉检索和单独关掉重试这两组。那两组数字一出来,我上面的判断要么被坐实,要么被推翻。
在数据出来之前,任何把它说成「模型质变」的说法,我都保留意见。
如果你的团队正在评估要不要接这类工具,我的建议是先别比模型,先比两件事。
第一件,你仓库的测试跑得起来吗,失败信息够不够定位。跑不起来就先补这个,这比换任何模型都值钱。
第二件,你的检索方案能不能在改一个函数之前把调用点找齐。找不齐就先补这个,这是第二值钱的。
这两件做完,你手上就有一个能自己转的回路。到那时候再挑模型,你比的才是真正该比的东西。
至于 Neon 和 Antigravity 这次的具体实现,等公开信息补上消融数据再说。现在下结论,早了。
工具会一直换,回路是你自己的。谁先把回路搭起来,谁就不太怕下一版模型什么时候来。
三倍多这个数字真正提醒我的,不是某个模型又强了,而是我们对「模型能力」的测量方式一直太粗糙。把上下文、工具、反馈这些外部条件剥掉之后剩下的那部分,才是权重本身。以后再看任何跑分,我都会先问一句,这个数字里有多少是模型,有多少是脚手架。
以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~
谢谢你看我的文章,我们,下次再见。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。