这是一篇论文评审吗?

【导读】面对如今每年数量暴增的AI领域顶级会议论文投稿量,作者Zachary C. Lipton在Approximately correct上发表了对论文评审的一些看法。Approximately correct是一个旨在沟通机器学习技术和社会观点的博客网站。CMU的Zachary C. Lipton致力于机器学习领域相关研究。

作者 | Zachary C. Lipton

编译 | Xiaowen

随着提交论文的数量激增,经验丰富的研究人员队伍停滞不前,机器学习会议做出了不可避免的选择,让同行评审员队伍扩大,希望能够应对这场冲击。

该图描述了NIPS提交论文数随时间的变化趋势。红色条形图是对未来的预测。

由于几乎所有的教授,博士生等评审工作量都趋于饱和,会议组织者变得“富有创造力”,在“不太可能”的地方找到了审稿人。记者联系到了ICLR的程序委员会主席,他拒绝透露他们寻找未开发的评审人才的战略,或许是担心这些商业秘密可能被竞争对手NeurIPS和ICML所利用。幸运的是,在不愿透露姓名的情况下,几名 (级别较低的) ICLR国际会议成员同意讨论几个不寻常的来源:

  1. All of /r/machinelearning
  2. Twitter users who follow @ylecun
  3. Holders of registered .ai & .ml domains
  4. Commenters from ML articles posted to Hacker News
  5. YouTube commenters on Siraj Raval deep learning rap videos
  6. Employees of entities registered as owners of .ai & .ml domains
  7. Everyone camped within 4° of Andrej Karpathy at Burning Man
  8. GitHub handles forking TensorFlow, Pytorch, or MXNet in last 6 mos.
  9. A joint venture with Udacity to make reviewing for ICLR a course project for their Intro to Deep Learning class

有这么多新的审稿人,也许这并不令人意外地看到一些不寻常的评论:一些很简短的、或者一些奇怪的…网络用语(比如“inho,srs paper4real”等),以及一些质疑关于社区成员共同知识的人(“who are you to say this matrix is degenerate?”)。

然而,这些评论对一个旁观者来说可能意味着新评审员的无能,掩盖了一群新的审稿员为迎接这一场合而作出的认真努力。我之所以知道这一点,是因为这些新审稿员中的许多人都热衷于 Approximately Correct [1] 的阅读,在过去的几周里,我的邮箱里充斥着来自善意新评审员们的严肃问题。

如果你以前教过一门课,你知道他们的问题会有很大的重叠,这可能并不令人惊讶。因此,虽然我们通常不会在 Approximately Correct发布 QA 类型的文章,但这次可以破例。我汇编了几个问题作为例子,并提供了比较简洁的答案,这是一篇罕见的 QA 文章,我们称之为“这是一篇论文评审吗?”


来自Pasadena的Henry写到:

亲爱的 Approximately Correct: 我被指派去评审一篇论文。我阅读了摘要,并形成了与论文主题相关的观点。然后,我写了一段话表达了我的观点,另一部分与一个匿名评论者就一个无关的话题进行了讨论。这是Hacker News的标准做法,我在那里获得了2000多张选票,这构成了我参加ICLR国际会议评审资格的基础。这是论文评审吗?

AC:不,这不是论文评审。


来自Mysore的Pandit写到:

亲爱的 Approximately Correct: 我读过一篇关于梯度下降的收敛性的论文。我没看明白他们文中所说的“limit”,所以我跳到论文的后面,在那里我注意到他们没有在ImageNet上做任何实验。我写了一篇单行的评论,标题上写着:“Not an expert but WTF?”,正文中写“没在ImageNet上做实验?” 这是论文评审吗?

AC:不,这不是论文评审。


来自上海的Xiao写到:

亲爱的 Approximately Correct: I trained an LSTM on past ICLR reviews. Then I ran it with the softmax temperature set to .01. The output was “Not novel [EOS].” I entered this in OpenReview. Is this a paper review?

AC:不,这不是论文评审。


来自Boulder的George写到:

亲爱的 Approximately Correct: 在审这篇论文时,我注意到它在某些方面与我在1987年时的想法有些相似。虽然我喜欢这个想法,但我给这篇论文打了一个中等分数,一半的审稿意见对技术工作进行了扎实的讨论,另一半专门列举了我自己的论文,并要求作者引用它们。这是论文评审吗?

AC: 这听起来像是一篇糟糕的论文评审。但是如果你冷静下来,把分数提高到你认为它值得的分数,拿出所有关于你自己的论文的内容,然后给你的metareviewer发一封贴心的笔记,指出一个小小的利益冲突,这可能是一个很好的评审。


来自New Jersey的Rachel写到:

亲爱的 Approximately Correct: 我看了一篇文章。在前2页中,有10个数学错误,包括一些使论文的全部贡献明显错误的错误。为了节省我的时间,我停止了阅读,写了一段简短的评论,指出了错误,并说“不适合在ICLR国际会议上发表”。这是论文评审吗?

AC:虽然通常如此简短的评审意见可能不合适,但这是一个明显的例外,这是精彩的评审!


许多论文作者对于审稿分数存在许多争议,对于扩大评审队伍的这类做法是否能行之有效还有待考察。

参考链接:

1. http://approximatelycorrect.com/

原文链接:

http://approximatelycorrect.com/2018/11/18/is-this-a-paper-review/

-END-

原文发布于微信公众号 - 专知(Quan_Zhuanzhi)

原文发表时间:2018-11-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

用机器学习的经验指导人生:如何实现学习效率最大化

1133
来自专栏大数据文摘

11张图带你走过数据可视化的前生今世

24815
来自专栏AI科技评论

干货 | 数学通大道,算法合自然?

算法对我们的生活中的有着各种潜移默化的影响,但算法是否存在被滥用的情况?本文对算法使用问题提出了自己的看法。

882
来自专栏机器之心

现场报道 | 面对最菜TI战队,OpenAI在Dota2上输的毫无还手之力

据介绍,本届 TI8 的很多参赛队伍都报名想参加与 AI 的比赛,OpenAI 今天遇到了第一个对手:来自巴西的战队 paiN,后者也是本届 TI8 比赛第一支...

1501
来自专栏人工智能头条

【CSDN AI 周刊】第11期 | 周志华提出深度森林 引发持续热议

1583
来自专栏AI科技大本营的专栏

关于用AI搞金融这件事,瞎BB吹上天没用,听听实战的人怎么说

金融学理论和计算机技术的不断革新,带来了基于数据处理与数据分析的量化投资策略的蓬勃发展,量化模型成为了预测市场和指导投资的有力工具。然而证券市场是一个复杂的非线...

2998
来自专栏腾讯研究院的专栏

何为实在

image.png 推荐语: 霍金的《大设计》(The Grand Design)与其说是本科普读物,莫如说是相关“实在与终极”的著作。过去几千年间,...

2515
来自专栏MixLab科技+设计实验室

参数化与人工智能,从计算机辅助到计算机决策,同济大学DigitalFuture演讲记录

这是他在同济大学DigitalFuture演讲稿,为我们介绍了人工智能在建筑领域的应用。欢迎大家关注他的公众号(见文末)

2902
来自专栏Vamei实验室

统计Go, Go, Go

结束了概率论,我们数据之旅的下一站是统计。这一篇,是统计的一个小介绍。 统计是研究数据的学科。它包括描述数据,推测群体信息,判断假设的真伪。统计是一门实用学科。...

1789
来自专栏AI科技评论

学界 | 只要社会存在偏见,即便是算法操控的机器也无法摘下有色眼镜

AI科技评论按:用网络上现成的语言资料训练机器学习模型已经是现在主流的做法。研究者们希望人工智能从其中学到对人类自然语言的理解,但是人工智能所能学到的内容还远不...

3515

扫码关注云+社区

领取腾讯云代金券