AI抢攻人类奥赛金牌！DeepMind数学模型做对25道IMO几何题，GPT-4惨败得0分

新智元

发布于 2024-01-18 14:41:59

3200

发布于 2024-01-18 14:41:59

文章被收录于专栏：新智元

编辑：编辑部

【新智元导读】今天，谷歌DeepMind的AlphaGeometry模型登上了Nature！30道IMO几何题中，它能做出25道，已经接近人类金牌选手的水平！而GPT-4，却一道题都没做出来，直接挂了零蛋。

谷歌DeepMind的AI智能体，又破纪录了！

这个名叫AlphaGeometry的AI系统，能做出国际数学奥林匹克（IMO）的30道几何题中的25道，这个表现，已经接近了人类的奥数金牌得主。

从此，AI在数学领域的推理能力再次实现史诗级升级，超越此前的最高水平。

这一研究已经登上Nature。

论文地址：https://www.nature.com/articles/s41586-023-06747-5

下面这道IMO大赛几何真题，曾经难倒了一大批参赛选手，而如今，AI却能把做出来了！

更特别的是，这个模型是靠合成数据训练出来的，而非通常使用的真实数据。

训练过程是这样的：先初始生成了十亿个随机几何图形，全面分析每个图形中点和线的所有关系。

随后，AlphaGeometry找出了每个图形中所有的证明，并反向追溯出为得到这些证明所需添加的额外几何元素（如果有的话）。

就这样，AlphaGeometry结合了神经语言模型和符号演绎引擎的优势，已经形成了一个神经符号系统。

两个系统中一个提供快速提供直觉式的想法，另一个负责更谨慎理性的决策。一个大胆假设，一个小心求证，不断改进方案，为复杂的几何定理找到证明。

而合成数据的思路，也为大模型语料不足的问题，提供了崭新的出路。

网友惊呼：这简直就是创造了历史！

OpenAI研究科学家，德扑AI之父Noam Brown表示，「祝贺GoogleDeepMind团队取得这个成绩！看到AI在高等数学方面取得了如此大的进步，令人兴奋」。

真题实测

话不多说，我们直接上真题。

已知等腰三角形ABC中，AB和AC的边长相等，求证：∠ABC=∠BCA。

等腰三角形的底角相等，这是学过初中数学的人都知道的常识（等腰定理1），可是要怎么证明？

AlphaGeometry的做法是，通过运行符号推理引擎，来启动证明搜索。

这个引擎会从定理前提中不知疲倦地推导出新语句，直到定理被证明，或新语句被穷尽。

但如果符号引擎无法找到证明，语言模型就会构造一个辅助点，在符号引擎重试之前增加证明状态。

如是循环，一直到找到解决方案为止。

比如，在第一个辅助构造「D作为BC的中点」之后，环路终止了。

随后就开始证明过程，证明由另外两个步骤组成，这两个步骤都利用了中点的特性：「BD = DC」，「B，D，C是共线的」。

此后不断循环，直至证明∠ABC=∠BCA。

与此同时，2015年IMO的P3，也被AlphaGeometry轻松搞定。

如果要做对这道题，需要构建三个辅助点。

在这两种解决方案中，研究者将语言模型的输出（蓝色）和符号引擎输出交错排列，反映出了执行顺序。（具体证明过程见论文）

甚至，AlphaGeometry还在IMO 2004 P1中，发现了未被使用的前提。

由于提取最小前提所需的回溯算法，AlphaGeometry识别了一个对证明工作来说不必要的前提：O不必是BC的中点，P、B、C 就是共线。

其中，右上是原始定理图，底部是广义定理图，其中O从其中点位置释放出来，而P仍然停留在直线BC上。

原始问题要求P介于B和C之间，这是广义定理和解决方案无法保证的条件。但AlphaGeometry就解决了这一点。

此外，在做2008年IMO P6的证明题中，AlphaGeometry却失败了。这是所有30个问题集中最难的一个，人类平均得分仅为0.28/7。

值得一提的是，北大韦神曾连续两届以满分拿下了IMO 2008、IMO 2009的金牌。

为什么考AI要用奥数题

怎么评价一个AI系统的数学和逻辑推理能力够不够强？

那自然是给它上最难的数学题，比如IMO的原题。

毕竟，能参加国际数学奥林匹克竞赛的，都是全世界数学最优秀的高中生，可以说代表了全人类的最高水平。

所以这一次测试，也可以看作AI和人类的对决！

专家们从2000年至2022年间的IMO竞赛题中，选出了30道，组成了IMO-AG-30基准测试集，然后在限定的比赛时间内，让「选手」们展开对决。

对决结果是，谷歌DeepMind的AlphaGeometry，已经接近了IMO金牌选手的水平。

人类金牌选手平均能解出25.9道题，而AlphaGeometry能解出25道，可以说已经无限逼近人类。

而此前的SOTA AI系统「吴氏方法」，仅能解出10道题。

除了吴氏方法，在AlphaGeometry与其他最先进的方法比较中，30道IMO试题，GPT-4一道也不会做，直接得了0分！

要知道，以前的AI智能体在处理复杂的数学问题时，时常受困于推理能力不足，以及训练数据的缺乏。

但AlphaGeometry的不同之处在于，它结合了结合了神经语言模型的预测力，和基于规则的推理引擎，让这两个系统协同作业，从而寻找解决方案。

研究者还开发了一种方法，可以生成大量的合成训练数据——高达1亿个独特样本。

这样，就可以在有效解决数据不足的问题，在不依赖人类示范的情况下训练AlphaGeometry。

通过AlphaGeometry，我们可以看出AI在逻辑推理、发现和验证新知识方面的能力，在不断增强。

今天，AI已经可以做出奥林匹克级别的几何题，再过一段时间，可能就会出现更高级、更通用的AI系统，直至某天出现AGI。

现在，谷歌DeepMind已经把AlphaGeometry的代码和模型开源，希望它们能和其他合成数据生成和训练的工具一起，为数学、科学和AI领域带来新的机遇。

项目地址：https://github.com/google-deepmind/alphageometry

几何证明双重buff：大模型+符号推理引擎

具体来说，AlphaGeometry是由2个主要组件构成的神经符号系统（neuro-symbolic system）：

1. 神经语言模型

2. 符号推理引擎

这个AI系统便是通过以上两个部分协同工作，实现复杂的几何定理证明。

谷歌DeepMind团队在此引用了「思考：快与慢」这本书中的理念。

「这有点像我们的『直觉思维』和『逻辑思维』：一个系统提供快速，基于直觉的想法，而另一个系统则进行更为缜密、基于逻辑的决策」。

这里，神经语言模型就是「系统1」，擅长发现数据中的普遍模式和关系，能够迅速预见到可能有帮助的几何构造。

然而，它们往往不擅长严密的推理，也不能解释自己的决策过程。

符号推理引擎则不同，可以看作是「系统2」。

它们基于形式逻辑（formal logic），按照明确的规则得出结论，这些结论既合乎逻辑又能解释清楚。

不过，符号推理引擎在解决大型、复杂问题，可能会显得「缓慢」且不够灵活。

AlphaGeometry在解决一个简单问题时的过程：首先，给定问题及其定理假设（左图），AlphaGeometry（中图）利用其符号引擎对图形进行逻辑推理，从而推导出新的结论，直至找到答案或无法进一步推导。如果答案未找到，AlphaGeometry的语言模型就会引入一个潜在有助于解题的新图形元素（以蓝色表示），为符号引擎提供新的推理途径。这个过程会不断重复，直到找到问题的解决方案（右图）。在这个示例中，仅需加入一个新的图形元素。

AlphaGeometry语言模型的作用就在于，指引符号推理引擎寻找解决几何问题的可能路径。

一般来说，IMO级别的几何题往往基于图表，需要在图表中添加新的几何元素，比如点、线或圆，才能找到解答。

AlphaGeometry的语言模型能够预测，在无限可能中哪些新元素最有助于解题。这些提示有助于补全信息的空缺，使得符号引擎能够对图表做出更多推断，并逐步逼近正确答案。

举个栗子，AlphaGeometry解决了2015年国际数学奥林匹克竞赛第三题（如下），右边是解题过程的精华部分。

整个解题的过程，共计109步逻辑推理。

图中的蓝色部分表示新增加的图形元素

此外，谷歌团队还让AlphaGeometry去解决IMO 2005的P3，共用了110步完成。

完整解题步骤：https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/alphageometry-an-olympiad-level-ai-system-for-geometry%20/AlphaGeometry%20solution.pdf

1亿个合成数据，从0训练AI

AlphaGeometry解决数学的能力如此强悍，而更让人震惊的是：仅用合成数据从0开始完成训练。

正如谷歌DeepMind所言，因为缺乏训练数据，AI系统一直难以解决棘手的几何问题。

对此，研究人员采用了「合成数据」的技术，模拟知识积累过程，无需任何人类演示教学，从0基础开始训练AlphaGeometry。

如下图所示，便是通过合成数据生成的随机图形的部分示例。

谷歌使用了10万个CPU，最初生成了10亿个几何对象的随机图，并对每个图表中的点和线条之间的所有关系进行了全面的推导（运行符号演算和回溯过程用了3-4天）。

AlphaGeometry合成数据生成过程

AlphaGeometry不仅找到了每个图表中的所有证明，还逆向追溯，确定为了得出这些证明需要增加哪些图形构造。

研究人员将这个过程称为「符号演绎与追溯」。

AlphaGeometry生成合成数据的可视化

在这庞大的数据集中经过筛选，剔除重复的样本，最终获得了1亿个涵盖不同难度级别的独特训练样本的数据集。

其中，还包含了900万个附加构造的样本。

AlphaGeometry的语言模型通过分析这些构造，如何帮助完成证明的众多案例，能够在处理奥林匹克级几何题时，提供有效建议，设计出新的几何构造。

对生成的合成数据的分析

IMO金牌得主盛赞，AI开创数学推理先河

AlphaGeometry针对IMO赛题给出的解答，都通过了计算机验证。

谷歌DeepMind将成果与先前的AI方法，以及奥林匹克竞赛中的人类选手表现进行了比较。

AlphaGeometry证明步与IMO参与者在不同问题上的平均得分

值得一提的是，他们还请来数学教练及IMO金牌得主Evan Chen评审了AlphaGeometry的部分解答。

AlphaGeometry的输出结果令人称赞，它不仅可以经得起验证，而且表述清晰。以前的AI在解决证明类竞赛题目时，其解答有时候不够可靠（输出结果时对时错，需要人类进行核查）。AlphaGeometry不会出现这样的问题：它的解答具备可由机器验证的结构。即使如此，它的输出也便于人类理解。原本可以设想的是，一款计算机程序通过暴力破解坐标系统来解决几何题目，那将是一连串枯燥的代数运算。但AlphaGeometry并非如此，它采用的是学生们所学的传统几何规则，包括角度和相似三角形的知识。