专栏首页量子位NeurIPS 2019最佳论文出炉,今年增设“新方向奖”,微软华人学者获经典论文奖

NeurIPS 2019最佳论文出炉,今年增设“新方向奖”,微软华人学者获经典论文奖

第32届神经信息处理系统大会(NeurIPS 2019)今天在加拿大温哥华正式召开。

据大会官方介绍,今年的参会人数达到了空前的1.3万人。另外大会的投稿数量、接收论文数量也创下了历史新高,总共有1428篇文章被收录。

在NeurIPS 2019召开的第一天,大会评委公布了杰出论文奖经典论文奖

大会评委还希望能够避免一些效率低下、过于复杂的论文,推荐一些趋势性的杰出文章,为此增设了杰出新方向论文奖,以表彰那些为未来研究提出新方向的杰出工作。

此外,大会还推荐了另外4篇获得最佳论文提名的文章。

最佳论文

今年分别各有一篇文章获得杰出论文奖和杰出方向论文奖,另外各有两篇获得相应提名。

杰出论文奖

Distribution-Independent PAC Learning of Halfspaces with Massart Noise

论文地址: https://papers.nips.cc/paper/8722-distribution-independent-pac-learning-of-halfspaces-with-massart-noise

这是来自威斯康星大学麦迪逊分校、马克斯·普朗克研究所的研究。

推荐理由:

本文研究了在训练数据中存在未知、有界标签噪声的情况下,用于二元分类线性阈值函数的学习。

通过推导一种有效的学习算法,这篇论文解决了一个长期存在的根本性问题。本文在机器学习核心长期存在的开放性问题上取得了巨大进展,即在Massart噪声下有效地学习半空间。

举个简单的例子,在1%的Massart噪声下,即使是弱学习析取(误差为49%)也是开放的。本文展示了如何有效地实现等于Massart噪声水平加上epsilon的超额风险。该算法方法复杂,结果难以确定。

杰出新方向论文奖

Uniform convergence may be unable to explain generalization in deep learning

论文地址: https://papers.nips.cc/paper/9336-uniform-convergence-may-be-unable-to-explain-generalization-in-deep-learning

这篇文章是来自CMU和博世AI中心的研究。

推荐理由:

本文提出了本质上是负面的结果,表明许多现有的(基于规范的)深度学习算法的性能边界无法达到他们要求的结果。

作者进一步说,当其他研究者继续依靠双边一致收敛的机制时,他们将无法达到自己宣称的结果。虽然本文没有解决(也不假装解决)深层神经网络中的泛化问题,但是将该算法“钉死在十字架上”(培根原话“An Instance of the Fingerpost”),指出机器学习领域应该关注另一个不同的地方。

最佳论文提名

除了以上两篇论文外,大会委员会还推荐了4篇获得最佳论文。

杰出论文奖提名

Nonparametric Density Estimation & Convergence Rates for GANs under Besov IPM Losses

论文地址: https://papers.nips.cc/paper/9109-nonparametric-density-estimation-convergence-rates-for-gans-under-besov-ipm-losses

推荐理由:

本文以严格的理论方法表明,在密度估计方面,就收敛速度而言,GAN的性能优于线性方法。利用先前关于小波收缩的结果,本文为GAN的表示能力提供了新的见解。

具体而言,作者在大型函数类别(Besov空间)中的一大类损失(即所谓的积分概率度量)下,得出了用于非参数密度估计的极小极大收敛速度。

审稿人认为,这篇论文将对从事非参数估计和GAN的研究人员产生重大影响。

Fast and Accurate Least-Mean-Squares Solvers

论文地址: https://papers.nips.cc/paper/9040-fast-and-accurate-least-mean-squares-solvers

推荐理由:

最小均方求解器是许多机器学习算法的核心,从线性和套索回归到奇异值分解和弹性网络,都要用到这种算法。

本文展示了如何将它们的计算复杂度降低一到两个数量级,而且没有精度损失,并改善了数值稳定性。该方法依赖于Caratheodory定理,建立了一个核心集(d维中d2 +1个点的集合)足以表征凸包中的所有n个点。

这篇论文的新奇之处在于提出的分治算法,该算法可提取具有可承受复杂性的核心集(O(nd + d5 log n),d<<n。

审稿人强调了该方法的重要性,因为相关研究人员可以轻松实现该方法以改进现有算法,并且可以扩展到其他算法,因为该方法的递归划分原理使其易于推广。

杰出新方向论文提名

Putting An End to End-to-End: Gradient-Isolated Learning of Representations

论文地址: https://papers.nips.cc/paper/8568-putting-an-end-to-end-to-end-gradient-isolated-learning-of-representations

开源代码: https://github.com/loeweX/Greedy_InfoMax

推荐理由:

本文使用从van Oord等人得到的自监督标准,重新审视了深度网络的分层架构,特别是当前输入表示和输入在空间或时间上接近的共有信息。

正如评审人所指出的那样,这种感知网络中的自组织可能会在算法观点(避开端到端优化,因其巨大的内存占用和计算问题)和认知观点(利用所谓的慢速功能的概念,转向生物学上更合理的学习过程)的十字路口上提供新的思考。

Scene Representation Networks: Continuous 3D-Structure-Aware Neural Scene Representations

论文地址: https://papers.nips.cc/paper/8396-scene-representation-networks-continuous-3d-structure-aware-neural-scene-representations

推荐理由:

这篇论文提出了CV中两种广泛方法——多视图几何和深层表示的合成。具体来说,本文做出了三点贡献:

1)每个体素的神经渲染器,它能以3D感知的方式实现不受分辨率影响的场景渲染;

2)可微分的光线步进算法,解决了沿着相机投射的光线寻找表面相交的难题;

3)潜在场景表示,使用自动编码器和超网络来回归场景表示网络的参数。

经典论文奖

和往年一样,大会评委会评选出了10年前在NeurIPS上发表的论文,表彰该论文在人工智能领域产生了特别重大而持久的影响。

评审从NeurIPS 2009选取了18篇被引用次数最多的论文,考察了这些论文的持续影响力,即最近是否有论文仍在借鉴参考这些论文中的工作。

最终,评委将今年的经典论文奖颁给了微软研究院高级首席研究院Lin Xiao的论文Dual Averaging Method for Regularized Stochastic Learning and Online Optimization

论文地址: https://papers.nips.cc/paper/3882-dual-averaging-method-for-regularized-stochastic-learning-and-online-optimization

这篇文章研究了正则化的随机学习和在线优化问题,提出了一种新的算法——正规化双重平均法。与标准随机梯度法类似,该方法可达到最佳收敛速度,并且每次迭代通常具有较低的复杂度。

今年投稿盛况

今年NeurIPS一共收到6743篇论文投稿,创下历史新高,其中总共有1428篇论文接收入选,入选率21.1%。其中华人一作的论文占到了接受总论文数量的1/3。

今年总共有5大组织入选论文数超过100篇。其中工业界的是Google+DeepMind和微软,学术界则是MIT、斯坦福和CMU。

中国方面排名最靠前的是清华大学,总榜排名13,共有33篇入围;北大位列第二,总榜排名22,共有23篇入选。

今年在加拿大举办的NeurIPS还经历了一场小风波,因为举办地加拿大拒签了很多北美之外的学者参会,导致这些学者他们将无法参加大会。

即使这些人的论文已经被接收,甚至连大会活动的组织者也被拒之门外。

Jeff Dean、Yoshua Bengio等行业大佬出面批评加拿大移民局的行为,认为此举会阻碍学术交流,不过问题并未得到实际解决。

明年的NeurIPS将继续在加拿大温哥华举办,后年将转移到澳大利亚悉尼市举办,不知情况是否会有所改善。

最后附上本届NeurIPS所有被接收的论文: https://papers.nips.cc/book/advances-in-neural-information-processing-systems-32-2019

参考链接: https://medium.com/@NeurIPSConf/neurips-2019-paper-awards-807e41d0c1e

本文分享自微信公众号 - 量子位(QbitAI),作者:关注前沿科技

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-12-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 凭“颜值”拒稿,误判率仅0.4%?这篇计算机视觉论文让AI学界炸了锅

    不少人哈哈哈哈怀疑作者在搞笑,当然也有很多人严肃读论文,辩论数据、结论的不合理之处。甚至有人说,研究揭示了论文评审中本就存在的人类偏见。

    量子位
  • 阿里达摩院员工业余打造“论文知识图谱”工具:极速搜索,完全可视化

    最近,Reddit上的一位网友便分享了这样一款论文可视化工具—— Connected Papers,8小时就收获260赞。

    量子位
  • 如何高效读论文?剑桥CS教授亲授“三遍论”:论文最多读三遍,有的放矢,步步深入

    一方面,把握最前沿的研究动态,激发自身研究灵感。另一方面,不做好文献调研,自己的绝妙想法变成了重复造轮子,这种体验可不太妙。

    量子位
  • ICLR2018 | 深度学习顶会见闻,干货资源都在这里(附源码、论文链接)

    虽然仅仅举办过六届,ICLR已经是深度学习领域的顶级会议,得到了业界的广泛认可。第六届ICLR于2018.4.30~2018.5.03在温哥华会展中心召开,笔者...

    数据派THU
  • 【专知独家干货】-《科研写作之读论文》的一些心得体会

    今天特别给大家分享下来自我们专知团队成员-钱胜胜博士最近在2017年中国多媒体大会上作的《撰写论文的一些心得体会》的报告。钱胜胜博士是中国科学院自动化研究所模式...

    WZEARW
  • [资源推荐] 必须收藏的两个查找论文和代码实现的网站!

    无论是研究方向是 AI 方面的学生,或者是做机器学习方面的算法工程师,在掌握基础的机器学习相关知识后,都必须掌握搜索论文的技能,特别是研究或者工作领域方向的最新...

    材ccc
  • CVPR2020 | 已收录文章 | 开源 3D点云处理论文推荐 | 续前文

    前文:CVPR2020 | 已收录文章 | 开源 3D数据处理论文推荐 | 未完待续

    CNNer
  • CVPR2020 | 已收录文章 | 开源 3D数据处理论文推荐 | 续前文

    前文:CVPR2020 | 已收录文章 | 开源 3D数据处理论文推荐 | 未完待续

    CNNer
  • 张翼英:一点论文写作心得

    【导读】论文是硕士博士必修之关。我们转载一篇来自张翼英老师的论文心得文章! 本文来自张翼英科学网博客。 链接地址:http://blog.sciencenet....

    WZEARW
  • ICML2020论文汇总来啦,包括每篇论文的创新点介绍和点评

    今年的 ICML 大会已经改为在 2020 年 7 月 13 日至 18 日线上举行。ICML 是机器学习领域最重要的会议之一,因此在该会议上发表论文的研究者也...

    深度学习技术前沿公众号博主

扫码关注云+社区

领取腾讯云代金券