专栏首页AI科技评论这 7 篇论文影响巨大,却并不属于任何顶会!

这 7 篇论文影响巨大,却并不属于任何顶会!

作者 | 杨晓凡 编辑 | Camel

最近一阵子,NeurIPS 2019 放榜了、ICLR 2020 截稿了,为论文没中而闷闷不乐、为投稿(或者改稿重投)而郁闷头大的同学肯定不少。不过,在乎真正的学术贡献的同学也不用着急,论文中了顶会最主要还是说明符合流行风向+运气好,就像每年顶会的最佳论文过十年再来看往往并不是真正推动领域进步的论文一样。

其实,岂止「顶会最佳论文往往不是真正推动领域进步的论文」,有很多重要的、推动进步的论文都没投顶会,甚至是投了然后被拒稿。谷歌大脑研究员 Colin Raffel 在推特上发帖讨论了这事,和其它几位学者共同列举了一批重要的、推动了领域进步的、但并不属于任何顶会的论文。

1、用 RNN 生成序列

Generating Sequences With Recurrent Neural Networks

论文链接:https://arxiv.org/abs/1308.0850

这篇论文发布时是相当惊人的,首次表明了可以直接用 RNN 生成令人满意的文本段落或者手写文字(具体来说是用 LSTM 捕捉离散长序列的结构,每次预测下一个紧接着的元素)。而且这篇论文里还出现了注意力机制、Adam 等等后来广为使用的技巧的雏形。

2、WaveNet:一个原始音频信号的生成模型

WaveNet: A Generative Model for Raw Audio

论文链接:https://arxiv.org/abs/1609.03499

来自 DeepMind 的大名鼎鼎的 WaveNet 论文可以说开创了一个新的时代。在此之前的语音生成模型都是先生成“声码”,然后用单独的发声模型把声码变成音频波形信号。WaveNet 直接表明了我们现在(2016 年)就可以直接用深度神经网络生成音频波形信号,跳过声码这一环,生成效果也有极大的提升。沿着这个方向,后来的研究人员们还做了很多改进和新的探索,大幅提高语音生成速度的并行 WaveNet (Parallel WaveNet,arxiv.org/abs/1711.10433)也很快就进入了谷歌的商用系统。

3、学习生成评论并发掘情感

Learning to Generate Reviews and Discovering Sentiment

论文链接:https://arxiv.org/abs/1704.01444

这篇论文用了简单的无监督预训练方法学习文本表征,然后得到了惊喜的结果:根据学习到的无监督语言模型中的单个神经元的阈值就可以准确地判断文本的情感。这项研究也助推了迁移学习的方法在 NLP 领域的流行。

4、隐式自动编码器

Implicit Autoencoders

论文链接:https://arxiv.org/abs/1805.09804

可变自动编码器(VAE)的概念提出了挺久了,而这篇论文讨论了一种新的自动编码器形式:编码器中的重建项和正则化项都是用对抗损失表示的,也就是隐式地参数化。相比于之前的显式的做法,隐式参数化、隐式的数据分布可以让自动编码器学习到更强有表现力的先验知识和条件似然分布,从而,自动编码器中的隐含空间可以更专注捕捉数据中的抽象、高维信息,同时其余的低维信息都已经被隐含的条件似然分布包括了。作者们的风格、内容解耦等实验中模型都发挥了优秀的表现。

5、学习灵活的机械手控制

Learning Dexterous In-Hand Manipulation

论文链接:https://arxiv.org/abs/1808.00177

这篇出自 OpenAI 的论文从发布以后就是机器人控制领域的热门论文,实际上AI 科技评论也做过详细的解读。OpenAI 不仅提出了两组、八个高难度问题(机械臂末端控制、机械手拿取以及玩弄物体,都难以用早期强化学习算法直接解决),也用新的强化学习在模拟环境中训练了能完成这些任务的智能体;最惊人的是,即便是完全在模拟器中训练的,这个模型也可以不需任何微调就直接迁移到真实的机械手上,同样优美地完成了任务。这不仅是强化学习机器人控制的一个突破,在别的任务中使用强化学习的时候也可以参考他们的技巧。

6、演化策略是一个强化学习的可拓展的的备选方案

Evolution Strategies as a Scalable Alternative to Reinforcement Learning

论文链接:https://arxiv.org/abs/1703.03864

这篇论文是演化策略 Evolution Strategies 这个研究方向的开创性论文。演化策略提出时是作为当时热门的基于马尔科夫决策过程的 Q-learning、策略梯度之类的强化学习方法的补充,但是实际上即便演化策略是个黑盒优化模型,它仍然有许多优点:它在多 CPU 集群上的拓展性很好、对动作频率和延迟反馈不敏感、可以执行非常长期的任务、而且不需要时间折扣或者值函数逼近。

7、蒸馏神经网络中的知识

Distilling the Knowledge in a Neural Network

论文链接:https://arxiv.org/abs/1503.02531

首先,这篇论文的作者中有 Jeff Dean 和 Geoffrey Hinton,可以说看到这两个名字就知道这篇论文肯定有一些有价值的洞见。然而 Jeff Dean 在推特讨论中自曝这篇论文投稿到了 NIPS 2014 然后被拒了,三位审稿人中有两位的意见是「这项工作改进很小,很可能不会有什么影响」…… 挺让人郁闷的是不是,2019 年的我们都知道,随着百万级参数数量的模型层出不穷,知识蒸馏、模型压缩的方法不仅有用,很多时候甚至是实际应用中必不可少的一个环节(为了达到可以接受的延迟和功耗);知识蒸馏也成了近两年的热门研究课题。引用数据不会说谎,这篇论文如今已经有了大约 2000 的引用,比大多数顶会论文都要高。

总 结

在讨论中也有人说道,现在我们在这里列举出的论文被时间证明确实是有持续的影响力的,它们的引用数也都不低,但如果当年投了顶会而且被接收了,可能还要高出很多。

对于是不是一定要把论文投顶会,有人说这其实要看作者是否已经有了较高的教职、是否已经有了类似「fuck you money」这样的底气。如果一个人已经有终生教职了、或者已经达到了博士毕业的论文数量要求了,他就完全可以只把论文传 arXiv,有价值的论文自然不会被忘记。相比之下,投顶会的论文相当一部分是来自还没达到目标的在读博士生的,出现学术价值不如没投的论文的情况也不奇怪了。

几篇论文打包下载,可以点击「阅读原文」。

原帖 https://twitter.com/colinraffel/status/1174691881114058752,AI 科技评论整理

还有哪些你认为重要但没有出现在顶会中的重要论文?欢迎留言一起讨论。

本文分享自微信公众号 - AI科技评论(aitechtalk),作者:杨晓凡

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-10-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • NeurIPS 2019 获奖论文出炉,微软华人学者Lin Xiao 获经典论文奖

    作为最久负盛名的机器学习顶会之一,今年 NeurIPS 2019 在召开之前就消息不断:在今年论文审稿期间,NeurIPS 2019 程序委员会主席专门发布声明...

    AI科技评论
  • 读论文的正确姿势是什么?

    但是有没有发现当你费劲巴拉的读到最后,发现所读的论文并不是你想要的。显然,这种不错过每一张表格,不错过每一个数字和每一个公式的“害怕错过”式阅读法并不是最有效的...

    AI科技评论
  • 如何以初学者角度写好一篇国际学术论文?

    人工智能顶会论文之争越来越激烈了,CVPR、AAAI、ICLR等各大会议虽然录取率逐年降低,但是投稿论文数量却在逐年增加。

    AI科技评论
  • CVPR 2018,盘点我心中的创意 TOP10

    2018 计算机视觉与模式识别会议 (CVPR) 上周在美国盐湖城举行,它是世界计算机视觉领域的顶级会议。今年,CVPR 收到了主要会议论文投稿 3300 份,...

    昱良
  • CV 届的金鸡百花奖:盘点我心中的 CVPR 2018 创意 TOP10

    2018 计算机视觉与模式识别会议 (CVPR) 上周在美国盐湖城举行,它是世界计算机视觉领域的顶级会议。今年,CVPR 收到了主要会议论文投稿 3300 份,...

    AI研习社
  • ICML2020论文汇总来啦,包括每篇论文的创新点介绍和点评

    今年的 ICML 大会已经改为在 2020 年 7 月 13 日至 18 日线上举行。ICML 是机器学习领域最重要的会议之一,因此在该会议上发表论文的研究者也...

    深度学习技术前沿公众号博主
  • 张翼英:一点论文写作心得

    【导读】论文是硕士博士必修之关。我们转载一篇来自张翼英老师的论文心得文章! 本文来自张翼英科学网博客。 链接地址:http://blog.sciencenet....

    WZEARW
  • 华人学生斩获最佳论文、最佳Demo论文,ACL 2020获奖论文全部揭晓!

    刚刚,ACL 2020颁布了论文方面的奖项,共有1篇最佳论文,2篇最佳论文提名,1篇最佳主题论文,1篇最佳主题论文提名,1篇最佳demo论文,2篇最佳demo论...

    新智元
  • 斯坦福大学教授是如何阅读论文的?

    本文整理自斯坦福大学David R. Cheriton教授[1]的论文How to Read a Paper[2],笔者对其编译提炼,用于指导自己阅读论文,希望...

    陆道峰
  • 阿里达摩院员工业余打造“论文知识图谱”工具:极速搜索,完全可视化

    最近,Reddit上的一位网友便分享了这样一款论文可视化工具—— Connected Papers,8小时就收获260赞。

    量子位

扫码关注云+社区

领取腾讯云代金券