北大元培校友论文获ICML时间检验奖，Hinton弟子一作，生成式AI成今年热门获奖理由

萧箫 发自 凹非寺 量子位 | 公众号 QbitAI

ICML 2023时间检验奖出炉！

今年和往年一样，也是一篇获奖论文和两篇亚军（Runners Up），均从ICML 2023的论文集中选出，“在过去10年里持续产生影响力”。

其中，获奖论文的第一作者是Hinton弟子Richard Zemel，第二作者伍昱（Ledell Wu）是北大元培校友，曾在智源和MetaAI工作过，如今是Creatify AI的联合创始人。

整体来看，今年的ICML时间检验奖也“与时俱进”——

无论是最佳论文还是亚军论文，提名理由都和生成式AI有关，其中一篇论文还影响了Dall·E和Stable Diffusion等最新一批生成式AI的进展。

所以，今年获奖的究竟都是些什么论文？

一起来看看。

时间检验奖颁给Hinton弟子

今年的时间检验奖最终获奖论文是Learning Fair Representations。

这篇论文来自多伦多大学和微软，在谷歌学术显示引用次数已有1670，可以说是通过学习中间表示来实现算法公平性这一领域的开山之作。

这篇论文提出了一种用于公平分类（fair classification）的学习算法，将公平性表述为一个优化问题，同时实现了群体公平性和个体公平性。

论文的获奖理由是：

这篇论文在“机器学习和公平性”这一领域中发挥了重要的影响力，向机器学习社区介绍了包括群体公平性、个体公平性在内的各种公平的概念，如今，它已经成为机器学习一个成熟的子领域。 随着先进的机器学习系统（通常称为生成式AI）在社会中广泛部署，以不可预见、且潜在的偏见和不公平的方式影响社会，这一领域正变得越来越重要。这篇论文提出了如今机器学习公平性领域致力于解决的核心研究问题、以及如何评估所开发工具的有效性的观点。

这篇论文一共有五名作者。

Richard Zemel，哥伦比亚大学教授，研究方向主要在AI鲁棒性、少样本学习、算法公平性和持续学习上，目前谷歌学术的引用次数已有64780。

此前，他于1984年获得哈佛大学本科学位，随后在多伦多大学计算机系学习，师从Geoffrey Hinton，并分别于1989和1994年获得计算机科学的硕士和博士学位。

伍昱（Ledell Wu），研究兴趣是AI、大语言模型和多模态学习。

她本科毕业于北京大学元培学院，并于加拿大多伦多大学获得计算机硕士，随后，她在Facebook AI（Meta AI）担任过研发工程师，也在北京智源人工智能研究院担任过技术平台部开源平台负责人。

如今，她的最新身份是Creatify AI的联合创始人。

Kevin Swersky，目前是谷歌大脑的研究科学家，主要研究方向是机器学习。他于加拿大阿尔伯塔大学获得本科学位，在不列颠哥伦比亚大学获得硕士学位，并在加拿大多伦多大学获得博士学位。

Toni Pitassi，哥伦比亚大学教授，目前的研究方向是计算复杂度。她在宾夕法尼亚州立大学获得本科和硕士学位，并于多伦多大学获得博士学位，曾经在多伦多大学担任教授。

Cynthia Dwork，哈佛大学教授、美国国家工程院院士，是差分隐私和工作量证明的发明者之一，目前研究方向涵盖应用数学和计算机科学。

她曾经在普林斯顿大学获得本科学位，并在康奈尔大学读博，随后在微软工作过，目前是微软的杰出科学家。

不过对于这篇获奖论文，也有读者表示，想要实现论文目标看起来是不可能的，已经有学者在新的论文中提出了这一观点。

对此有网友回应认为，这也是机器学习圈的常态，一波研究者不断找到实现特定目标的方法，同时另一波研究者不断证明这些方法是不可能的。

还有两篇论文亚军

今年也有两篇论文获得了时间检验奖的亚军（Runners Up）。

其中一篇名叫Deep Canonical Correlation Analysis，作者来自华盛顿大学和丰田工业大学芝加哥分校（Toyota Technological Institute at Chicago）。

这篇论文如今引用已有1915次，主要有两方面的影响力。

其一，论文提出了一种基于深度神经网络的多模态表示学习的原则性方法。这种深度多模态学习已经成为生成式AI的亮点之一，如DaLL·E、Stable Diffusion等。

其二，这篇论文展示了在无监督方法下也能获取数据得良好表示，无需依赖于观测重构，通过表示空间内关联同一观测的多个视图就行，这也启发了许多最近关于无重构自监督表示学习的算法，包括对比学习等。

另一篇论文名叫Making a Science of Model Search: Hyperparameter Optimization in Hundreds of Dimensions for Vision Architectures。

这篇论文如今引用已有2310次，作者分别来自哈佛大学罗兰研究所（Rowland Institute at Harvard）和MIT。

这篇论文通过黑盒优化（black-box optimization）和对机器学习的理解和进步证明，超参数调优是一个严谨的科学和工程问题，可以通过系统化方法而非启发式方法来解决。论文对数百个超参数进行了自动调优的实验，这也是对算法超参数调优最有说服力的示例之一。

在此之前，尽管超参数调优对机器学习的实践非常重要、具有相当大的影响力，但它经常被认为是一种“事后想法”或艺术，而非科学