北京大学邓小铁教授和李翰禹博士生近日在《国家科学评论》(National Science Review, NSR)发表观点文章,深入探讨了当前大语言模型(LLM)面临的挑战,并指明了其未来发展的关键方向:将人类智慧的结晶——符号,与模型的强大统计能力深度融合。
近年来,以大语言模型为代表的人工智能技术取得了举世瞩目的成就。其成功主要源于“尺度定律”(Scaling Laws),即模型性能随着计算、数据和参数规模的增长而提升。然而,这一范式在处理数据稀疏、逻辑复杂的前沿科学领域时,往往显得力不从心。
文章指出,当面对复杂且缺乏海量数据的全新问题时,大语言模型难以进行创新所必需的多步推理,其强大的模式匹配能力也因数据不足而受限。这并非意味着“尺度定律”已达极限,而是预示着人工智能的发展需要新的突破。
作者认为,未来的发展路径在于增强大语言模型,使其不仅拥有强大的统计直觉,更能利用人类独有的能力:使用符号来构建和简化复杂问题。符号不仅仅是信息的载体,更是人类智慧的凝练,是一种高效的“认知技术”。从原始部落的皮拉罕人因缺乏数字符号而难以精确记忆数量,到莱布尼茨凭借更优越的微积分符号推动数学发展,历史一再证明,精良的符号系统能极大地增强人类的认知与创新能力。
文章以近来在国际数学奥林匹克竞赛中取得金牌水平的人工智能系统AlphaGeometry为例,阐述了这一理念的成功实践。AlphaGeometry并非单纯依靠暴力搜索,而是将大语言模型的直觉与符号演绎引擎相结合。模型学习人类设计的几何符号语言,提出关键的辅助线索,再由符号求解器高效探索其逻辑推论。这种“神经-符号”的协同,最终超越了传统方法的局限。
该观点为人工智能的未来研究开辟了新的方向,包括带理论保证的算法设计、组合优化以及面向特定硬件的系统优化等。作者总结道:“如果说尺度定律赋予了模型强大的直觉,那么符号的艺术将为真正的前沿探索发现提供指南针。”人工智能的下一个前沿,将由符号化这门艺术来开启。
How Large Language Models Need Symbolism
https://doi.org/10.1093/nsr/nwaf339