AI顶会正变身商展，会将不会，还NeurIPS、ICML本来面貌！

新智元报道

来源：approximatelycorrect.com

作者：Zachary C. Lipton 编辑：文强，肖琴

【新智元导读】CMU 的 Zachary Lipton认为，NeurIPS、ICML等顶会正逐渐被行业侵蚀，变得不再像学术会议，而成了行业贸易展，长此以往，会将不会！应该立即采取行动，巩固会议学术性质，如果非学者抢到票而学者却无法参会，这种会议就该降级！

2018年的 NeurIPS 参会人数多少？

超过 8000？可喜可贺——才不是！

出去刷个牙回来就没了票，研究人员想参加参加不了，看热闹的外行人倒是挤来一堆。Poster Session 熙熙攘攘，但真正在谈论文的人却没有几个。Expo 行业展厅花枝招揽，企业酒会觥筹交错……

是的，这就是现如今的人工智能顶会，以 NeurIPS、ICML 为代表，参会人数越来越多，看似气氛越来越火，连赞助商捧着给钱都要抢名额。

与此同时，会议的学术味却越来越淡，真心搞研究的人都不想来参会了。

CMU助理教授 Zachary C. Lipton 参加完今年 NeurIPS 后，写下了他的真实感受：学术会议究竟应该是什么？不知不觉间，计算机科学领域的学术会议已被商业公司侵占；参会人数和提交论文的数量并不能说明领域研究的真实发展情况，火热的气氛并不代表研究的突破。

把学术会议商业化容易，但反过来去很难。如果再不赶紧采取措施，遴选并发表业内最新研究的会议将成为各大公司花样挖人的场所，NeurIPS、ICML 等人工智能领域的学术顶会将变成 CES 般的行业贸易展。

作为研究者，Lipton 呼吁：趁还来得及，还学术会议一个本来的面貌吧！

Lipton 从“会议”的涵义讲起，最终落脚到如何扭转现状，文章不短，但肯定说出了很多研究人员的心声。

你有没有想过，“会议”究竟指什么？

“会议”是指什么？一般的定义对这个词只提供了一个模糊的概述：“两人或两人以上开会讨论共同关心的问题”(韦氏词典a)；“通常是正式的意见交流”(韦氏词典b)；“正式的讨论会”(谷歌a)。

怎样才是会议？所有地方的所有集会都是会议吗？会议需要有多正式？会议的边界必须达成一致吗？需要指定名称吗？什么算是讨论？一次会议可以容纳多少讨论？什么是分会议?

NeurIPS 2018大会，一排屏幕让人难以确定演讲者到底站在哪里。来源见原文。

没有上下文，这个词就近乎空洞。然而，在专业领域，例如在计算机科学背景中，这个词被赋予了精确的含义。谷歌还提供了一个更通俗的定义：

通常会持续几天的正式会议，参会者是有共同兴趣的人，尤其指由一个协会或组织定期举办的会议。

然而，这个定义也太模糊了，它同样适用于公司会议、贸易展览、研讨会和出版会议。它既涵盖国际机器学习会议ICML，也可以指动漫展。

漫展

CS 学术会议变质了

甚至在学术界，这个词的含义也大相径庭，不同领域的学者在说“会议”的时候，经常是相互无法理解的。比如，在医学专业人士中，“会议”是交流和继续教育的论坛。

作为一名生活在经济学家和商界人士中的计算机科学家，我发现，对我的同事们来说，“会议”是传播研究、交流、教学和招聘的论坛。在展示论文时，它们是要在拓展论文摘要的基础上被审查的。它们确切地说是计算机科学家所称的“研讨会”(workshop)。

在更广泛的计算机技术行业中，“会议”往往意味着“贸易展”(trade shows)。其中最著名的CES, Amazon re: Invent，Google I/O, O 'Reilly Strata等会议拥有庞大、广泛、主动参会的受众。除注册费外，不设任何资格。它们是商业和业务拓展的专业聚会。虽然与会者和演讲者宣扬创新和颠覆，但处于中心位置的创新和颠覆是产品和商业模式，而不是人类知识前沿的进步。学者们可能会发言，但只是为了把研究讲得浅显。

在计算机科学中，会议的形式和安排与其他学术领域的会议相同。学者们与工业界的同行分享主题。然而，在计算机科学中，会议的假定意义又有了新的意义。顶级会议的主要功能是作为该领域的主要学术成果发表场所。

最重要的会议筹备包括在开会前几个月开展同行评审过程 (NeurIPS的评审过程提前8个月)。主会实际上是唯一重要的，每次会议最受关注的是该年发表的论文的介绍和认可。这些场所的存在是为了促进知识进步，其次才是专业发展，作为达到这一目的的一种手段。

学术界和技术界在会议的具体构成上存在着巨大的分歧。但是，在计算机科学会议的实践和组织中，我们很少需要问——什么是CS会议？它的目的是什么？谁应该来参会？会上应该进行什么活动？这些问题一直都有既定的答案，因此从不需要回答。

谁会来？那些总是来的人。他们为什么来？为了来展示他们的最新作品，并观看其他人展示他们的最新作品。应该进行哪些活动？吃东西，听演讲，吃东西，展示海报，吃东西……具体细节是由组织者决定的。有些会议有更好的食物。有些有更好的演讲。但是，会议的本质很少需要考虑。

由于一直以来不需要提出这样的问题，ML社区对最近的转变感到惊讶。虽然我们继续提供自由注册，但参会人员的构成和目的已经发生了变化。随着赞助摊位从2013年的特设折叠桌发展到展览大厅里的大型装置，我们只是租用了更大的房间，然后收取更高的赞助费。

会议门票一年比一年更快售罄，我们不得不承认，手慢就无法出席，甚至是核心研究团体中的人 (被接收论文的作者除外) 也不会出席。

在计算机科学领域我们不习惯问“什么是会议”，但我们突然发现这些会议发生了变化，却不清楚是谁 (如果有人) 决定了这种变化。

短短几年，NeurIPS画风突变

我开始接触NeurIPS是在2013年，当时我是一年级博士生。那时会议已经在迅速发展，我遇到的几乎每一个人都在从事这一领域的学术工作。赞助商部分只有不到10张折叠式办公桌，分别属于亚马逊、谷歌、微软研究院、Facebook和Skytree。

这些公司似乎主要关注招聘研究实习生。扎克伯格好像出现在一场现场的私人活动上，引来了人们围观。

主要会议的参会人数变化。(来源: AI Index报告)

两年后，我参加了在蒙特利尔举行的NeurIPS 2015会议，虽然会议规模有了很大的增长，但绝大多数与会者仍然是活跃的研究人员。可以说，增长更多地归功于规模，而非事件性质的根本性转变。

作为会议增长的一个征兆，一半的听众不得不在自助早餐室观看大会特邀报告，而自助早餐室的面积增加了一倍，成为一个爆满的观看区。早期迹象不仅是规模增大，性质也在发生变化，赞助商摊位早已成为大会的一大特点，而且非官方的聚会开始主导会后的社交活动。

随着这一变化而来的是免费饮料和无限享用的点心，但这也对会议作为一个纯粹交流意见的场所的作用构成了威胁。聚会已经人为地划分了社会结构。如果没有有意识地反对聚会文化，那么你在任何一个晚上看到的究竟是谁，首先取决于谁被邀请参加同一个聚会。那年，我在微软研究实验室举办的一次聚会上遇到了一位未来的研究导师。我们一边谈话一边走到另一个由DeepMind主持的论坛上，但由于我们只有一个人在DeepMind的邀请名单上，谈话不得不中断。

然而，在那个时候，所有想要参加的学者至少都可以注册(只要资金允许)。

从“会议”到“马戏团”

第二年夏天，我的论文合著者David Kale邀请我在O'Reilly的Strata+Hadoop World大会上发表演讲，这是一个大型的行业会议。虽然ML社区的成员可能已经开始抱怨NeurIPS变得越来越怪异，但在Strata这个会上，我看到了一个名副其实的马戏团。

听众们的身份包括经理、开发人员、销售人员、解决方案架构师、营销人员和投资者。大多数谈话都是些时髦的词。大多数演讲的技术深度还不如一份新闻稿。NeurIPS的赞助间里有大量的t恤和小礼物，看起来有些多余，但在Strata，这样的东西占据了一整层楼。NeurIPS的赞助摊位虽然有些古怪。但在Strata，展览室是会议的核心。公司的代表们在泡沫塑料搭建的展室里寻找销售机会。霓虹灯和高分辨率显示器是标准配置。

第一次，研究人员被拒绝参加学术顶会

仅仅两年后，在NeurIPS 2017(加州长滩)的前期，研究人员惊讶地发现，甚至在研讨会论文的接收结果公布之前，注册(越来越多地称为“门票”)就已经售罄。虽然一些已被接受的研讨会论文的作者最终获得了额外的名额，但并非所有论文的作者都能参加。

也许是第一次，研究论文的作者(除第一作者外)被拒绝参加会议，而优先考虑的是一大批非学术界人士——招聘人员、经理、投资者、开发人员和记者——仅仅因为他们抢票反应更快。

受这一荒谬现象的启发，我在不久后写了一篇讽刺文章，宣称ICML甚至在征稿通知公布之前就已经售罄。虽然归类为讽刺，但许多已经习惯这个领域的怪异现象的读者还是以为是真事。这篇文章被一些AI通讯(包括纽约大学官方的数据科学通讯)转载并作为新闻传播。一些ICML的组织者诚恳地要求我撤掉这篇文章，他们担心，尽管这篇文章带有明显的讽刺意味，但却让潜在的与会者感到痛苦。他们并不赞同我的观点，即这就是讽刺作品的根本目的，促使读者意识到现实已经如此地走向荒谬。

今年，从12月3日到8日，有8000名研究人员注册参加了2018年的NeurIPS大会。同样，由于供不应求，参会人经过了审查。

供需不平衡很严重，以至于会议门票在12分钟内售罄了。

也许这是第一次，大多数没有(任何)会议论文、没有第一作者研讨会论文或在社区中没有高级地位的研究人员不能参加这个会议。一些初级作者拼凑出了研讨会提交的材料，不是为了学术兴趣，而是为了获得一张彩票，这张彩票可能有40-50%的概率成为一个注册机会。然而，由于许多研究人员在观望，25%的空座中有许多被旁观者抢购一空。

今年，我第一次发现在大厅里的研究人员比前一年要少。这可能是由于研究人员被拒绝入场，研究人员选择不参加这次会议，以及参加会议的人数更多。许多受邀的演讲，虽然还算吸引人，但却相当大众化，因此应该会在TED上很受欢迎。在我看来，这次会议的性质明显地偏离了研究。

虽然NeurIPS在包容性上迈进了一大步——机器学习领域的女性和黑人依然是本次会议的亮点——但在传统上没有人需要担心的维度上却出现了巨大的缺陷。会议努力确保研究界本身的参与。随着容量的限制和注册量的增加，注册变成了一个零和游戏。

参会人数多不代表研究做得好；学术会议该把学者聚在一起

那些死气沉沉的报道，媒体的也好，圈内人写的也罢，比如 AI Index 2018，通过参会人数、提交论文数量、投资额等数据来粗略总结人工智能领域的发展。这些统计数据是很好，表明 AI 在发展，但其本身毫无意义。会议是什么，论文代表什么，AI 界同仁实际在做什么，都在抽取这些指标的过程中丢失了，从这些指标里完全看不出来研究的真实情况。

我们应该把互联网时代的新闻视为一个警示故事。随着消费者转向单点消费模式，我们突然之间就能跟踪和观察代表“成功”的量化指标（比如点击次数、印象数、粉丝数），新闻媒体的特征在迅速变化。

在追求这些短视数据指标的过程中，我们丧失了对新闻报道本质的理解。如今，单看衡量网络内容“成功”的关键指标，分不出来其内容是新闻还是色情，正如我们对人工智能领域发展和成功的衡量标准无法区分机器学习和行业贸易展一样。

学术会议在突然之间就变成了贸易展览会，这应该引发 AI 领域所有成员的警惕，并确保立即采取行动，巩固学术会议应有的性质——最重要的是将学界的人聚集在一起。

一个积极好学的博士生，不应该因为有外行人参展而被拒之门外。就连那些可以参会的人，如今学术会议的变味也让他们中越来越多的研究人员不去参会，而是选择将他们的时间分配给更小、更学术的小型论坛。

我们应该组建一个最高级别的工作组来关注这一事件，并且设定一个奖惩机制，当论文的第二、第三、第四作者无法参加一个展示自己工作的专业会议，而成百上千的非学者却抢得门票时，坚决给这种会议降级。

再不采取措施就来不及了！

在 NeurIPS 和 ICML 被这股汹涌的洪流冲刷成行业贸易展的平滩之前，在本应必须出席的 poster session 不可逆地转变为社交场所之前，我们只有非常有限的时间来采取措施，增强这些会议的学术性，将其还给学界，还原成研究者的聚会场所。

那么，我们现在可以做什么？这里有一些建议：

1、设定两个月仅对学界开放的注册期限

在会议开放注册后的 2 个月，只允许学者注册。这里的“学者”，可以是现在的学生和老师，也可以是过去论文的作者，这段时间应该一直到持续到确定会上将举办哪些 workshop 为止。

2、决定 NeurIPS（哪些部分）对外公开

今年的会议对媒体处理不当：媒体被禁止参加 workshop，搞得好像 NeurIPS 是什么高端机密大会一样，不是的！这是因为会务组没有意识到，今年的会议已经成了一场公共活动。

简而言之，会议的每个部分都必须是明确是面向公众的还是仅面向学者的。向公众开放的部分也必须向记者开放。如果我们对记者参会都不满意，那为什么我们不介意跟公司高管坐在一起讲论文呢？

3、缩小或者放低 Expo 展览的规模

展示行业相关内容的 Expo 大厅把人们对学术的大部分注意力都吸引过了。展厅里摆满了免费的小玩意，免费的食物，舒适的座位，还有花费数百万美元搭建的景观。科学讲座和 poster 没办法跟 CES 式的豪华展厅相竞争，也不应该跟这种展厅竞争。

一个可行的方法或许是，在某些日子或特定时间关闭 Expo 展厅。相比之下，今年的 EMNLP 就要好得多。休息的时候，人们会在展会厅里聚一起谈东谈西，但大多数的学术讲座他们（包括公司代表）都参加了。

4、改革赞助商活动，向所有研究人员开放：

公司想在会议上招贤纳士的想法是完全合情合理的。在每天的会议结束后和 after hour 时间段公司想要做什么，也不是会务组能管得了的。但是，或许可以让赞助商签一份协议，改变他们的活动内容（可能需要共同努力），将所有的研究人员都纳入进来。

当前的情况是，这些 party 上聚满了有人脉的人（无论学科）、潜力股或好苗子（优秀且有些名气的博士生和初级研究员），还有知名的研究人员。

但是，最应该从这些活动中受益的人，最应该通过这些活动结识潜在雇主、顾问和导师的年轻研究人员却被排除在外。

参考链接：

http://approximatelycorrect.com/2018/12/22/the-greatest-trade-show-north-of-vegas-pressing-lessons-neurips-2018/