清华软件论坛 | DeepMind研究科学家李宇佳分享“AlphaCode：编程竞赛级的程序自动生成”

来源：清华大学软件学院

本文约1000字，建议阅读5分钟

清华大学软件学院2011届校友李宇佳作题为“AlphaCode：编程竞赛级的程序自动生成”的学术报告。

清华软件论坛

2022年4月以来，清华大学软件学院为迎接清华大学建校111周年、软件学院建院21周年，旨在持续增强学术交流氛围，鼓励促进学科交叉研究，扩大学术研究成果影响传播，软件学院开启了“清华软件论坛”系列学术活动，形式包括但不限于大型学术论坛、小型学术研讨会、与产业技术交流会等。

文末附直播回放仅供参考学习。

论坛纪实

1月5日，清华软件论坛第十一期邀请到DeepMind研究科学家、清华大学软件学院2011届校友李宇佳作题为“AlphaCode：编程竞赛级的程序自动生成”的学术报告。清华大学软件学院、计算机系、土水学院的师生以及来自中山大学、北京大学、上海交大、西南大学等兄弟高校的智能软件研究与实践者200余人线上参会。

李宇佳作学术报告

李宇佳首先分析了编程竞赛问题的特点和难点，以及选择该问题作为切入点开展代码生成模型AlphaCode研究的原因。编程是解决各种问题的强有力工具，编程问题可以作为基线来推动更强大的机器学习模型的开发，也便于自动化评判模型生成样本的正确性。过去两年，运用大型语言模型做代码自动生成的工作得到了国内外学术界和工业界的普遍关注，部分工作已经产品化。AlphaCode采用GitHub上的开源代码对模型进行预训练，再用自建编程竞赛题目与解答的数据集进行模型训练和微调，使模型适应编程竞赛应用场景。最后，针对每个问题生成大量的样本，再对生成的样本进行采样和测评。李宇佳详细介绍了研究组对模型效果的分析思路，尤其是验证模型在解出题目的时候是否找到了新的问题的新解法的过程。AlphaCode代码生成模型目前在编程竞赛中达到了人类参赛选手的中游水平，未来还有很多进步空间。

在提问环节，线上参会的师生围绕数据预处理、问题理解、代码补全工具、软件测试、程序优化、错误分类等兴趣点，以及如何利用大语言模型辅助特定类型的软件研发，如CAD、数据库、操作系统等问题提问，李宇佳逐一进行分析和详细解答。

部分与会人员线上合影

嘉宾介绍

李宇佳，现任DeepMind研究科学家。2011年在清华大学软件学院获学士学位，2013年和2017年在加拿大多伦多大学分别获硕士和博士学位。主要从事深度学习、图神经网络和大规模语言模型领域的研究工作。他主持开发的编程竞赛级程序自动生成系统AlphaCode作为科学杂志2022年12月封面文章发表（点击“阅读原文”获取封面文章链接），成为程序自动生成领域的标志性工作之一。

直播回放

以下视频来源于：清华软件交友

编辑：于腾凯