专栏首页AI科技大本营的专栏谷歌用1.2万个模型“推翻”现有无监督研究成果!斩获ICML 2019最佳论文

谷歌用1.2万个模型“推翻”现有无监督研究成果!斩获ICML 2019最佳论文

作者 | 夕颜、Just

出品 | AI科技大本营(ID:rgznai100)

6 月 11 日,在美国加州长滩举行的 ICML 公布了 2019 年最佳论文奖,来自苏黎世联邦理工大学、谷歌大脑等的团队和英国剑桥大学团队摘得最佳论文奖项,此外,大会还公布了 7 篇获最佳论文提名的论文,获奖团队来自 DeepMind、牛津、MIT 等。据统计,此次大会共收到 3424 篇提交论文,深度学习、通用机器学习、强化学习、优化是提交最多的子领域,但最终录取的论文仅有 774 篇,谷歌更是成为被接受论文最多的霸主。

  • 首先,我们来揭晓本届 ICML 两篇最佳论文: Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations
  • Rates of Convergence for Sparse Variational Gaussian Process Regression

最佳论文简介

  1. 论文标题:挑战无监督学习解耦表示中的常见假设 Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations
  • 团队:来自苏黎世联邦理工学院(ETH Zurich)、MaxPlanck 智能系统研究所及谷歌大脑;
  • 作者:Francesco Locatello, Stefan Bauer, Mario Lucic, Gunnar Rätsch, Sylvain Gelly, Bernhard Schölkopf, Olivier Bachem
  • 论文地址:http://proceedings.mlr.press/v97/locatello19a/locatello19a.pdf
  • 论文摘要:

无监督学习解耦表示背后的关键思想是,真实世界是由一小部分可解释的变量因子生成,这些因子可以通过无监督学习算法进行恢复。在这篇论文中,我们提出对这一领域最新进展有了清醒认知,并且挑战了某些常见假设。

首先,我们从理论上表明,如果没有对模型和数据的归纳偏差,无监督学习解耦表示基本不可能存在;其次,在七种不同的数据集中,我们以一种可重复的大规模实验研究中训练了超 12000 个模型,使用了最重要的方法和评估指标。我们观察到,尽管用不同的方法成功的促进了相应损失“鼓励”属性,但如果没有监督,则很难识别出好的解耦模型。

此外,增加解耦似乎不会降低下游任务学习样本的复杂性。我们的结果表明,解耦学习的未来研究工作应该明确归纳偏见和(隐式)监督的作用,研究该强制解耦学习表示的具体好处,并且考虑有多种数据集的可重复的实验设置。

2. 论文标题:稀疏高斯过程回归变分的收敛速度

Rates of Convergence for Sparse Variational Gaussian Process Regression

  • 团队:英国剑桥大学、机器学习平台 Prowler.io
  • 作者:David R. Burt,Carl E. Rasmussen,Mark van der Wilk
  • 论文地址:https://arxiv.org/pdf/1903.03571.pdf
  • 论文摘要

对高斯过程后验(Gaussian process posteriors)的优秀变量近似法的提出避免了数据集大小为N时 O(N3) 的缩放。它们将计算成本减少到了 O (NM2),其中 M≤N 是诱导变量的数量,其总结了这一过程。

尽管虽然 N 的计算成本似乎是线性的,但算法的真实复杂性取决于 M 如何增加以确保近似质量。我们通过表征 KL 散度(KL divergence)向后验的上限行为来解决这个问题。我们证明了在高概率下,M 的增长速度比 N 慢,可以使 KL 的散度任意地减小。

一个特别有意思的例子是,对于具有 D 维度的正态分布输入的回归,使用流行的 Squared Exponential 核 M=O(logD N)就足够了。 我们的研究结果表明,随着数据集的增长,高斯过程后验可以近似地逼近,并为如何在连续学习场景中增加M提供了具体的规则。

7 篇最佳论文提名

Analogies Explained: Towards Understanding Word Embeddings

作者:CarlAllen1,Timothy Hospedales,来自爱丁堡大学。

论文地址:https://arxiv.org/pdf/1901.09813.pdf

SATNet: Bridging deep learning and logical reasoning using a differentiable satisfiability solver

作者:Po-WeiWang1,Priya L. Donti1,Bryan Wilder,Zico Kolter,分别来自卡耐基梅隆大学、南加州大学、Bosch Center for Artificial Intelligence。

论文地址:https://arxiv.org/pdf/1905.12149.pdf

A Tail-Index Analysis of Stochastic Gradient Noise in Deep Neural Networks

作者:Umut Şimşekli,Levent Sagun, Mert Gürbüzbalaban,分别来自巴黎萨克雷大学、洛桑埃尔科尔理工大学、罗格斯大学。 论文地址:https://arxiv.org/pdf/1901.06053.pdf

Towards A Unified Analysis of Random Fourier Features

作者:Zhu Li,Jean-François Ton,Dino Oglic,Dino Sejdinovic,分别来自牛津大学、伦敦国王学院。

论文地址:https://arxiv.org/pdf/1806.09178.pdf

Amortized Monte Carlo Integration

作者:Adam Golinski,Yee Whye Teh,Frank Wood,Tom Rainforth,分别来自牛津大学和英属哥伦比亚大学。

论文地址:http://www.gatsby.ucl.ac.uk/~balaji/udl-camera-ready/UDL-12.pdf

Social Influence as Intrinsic Motivation for Multi-Agent Deep Reinforcement Learning

作者:Natasha Jaques, Angeliki Lazaridou, Edward Hughes, Caglar Gulcehre, Pedro A. Ortega, DJ Strouse, Joel Z. Leibo, Nando de Freitas,分别来自MIT媒体实验室、DeepMind和普林斯顿大学。

论文地址:https://arxiv.org/pdf/1810.08647.pdf

Stochastic Beams and Where to Find Them: The Gumbel-Top-k Trick for Sampling Sequences Without Replacement

作者:Wouter Kool, Herke van Hoof, Max Welling,分别来自荷兰阿姆斯特丹大学,荷兰ORTEC 和加拿大高等研究所(CIFAR)。

论文地址:https://arxiv.org/pdf/1903.06059.pdf

论文统计

早在一个月前,Reddit上便有网友根据 ICML 2019 大会官网公布的接收论文情况进行统计( https://icml.cc/Conferences/2019/Schedule?type=Poster),总结了这次大会接收论文最多的机构、贡献最多的作者等。 贡献最多的机构:谷歌、麻省理工、加州大学伯克利分校 统计结果显示, ICML 2019 接收论文最多的机构前三甲分别为谷歌( 80 多篇)、麻省理工学院(40 多篇)以及加利福尼亚伯克利大学(40 多篇)。

此外,国内的清华、北大也榜上有名,分别位列 18 和 34 名,腾讯位列 42 名,而阿里巴巴在 Top100 更靠后一点。

按照学术和工业划分,接收论文数量最多的机构分别为: 学术:麻省理工大学、伯克利大学、斯坦福大学

  • 工业:谷歌、谷歌大脑、微软

学术和工业论文的统计情况:

  • 452 篇论文(58.4%)纯属学术研究;
  • 60 篇论文(7.8%)纯粹来自工业研究机构;
  • 262 篇论文(33.9%)与作者隶属于学术界和工业界。

贡献最多作者:机器学习大牛 Michael Jordan

此外,ICML 2019 论文贡献最多的作者当属加州大学伯克利分校的机器学习大牛学习 Michael Jordan,被接收论文有 7 篇。其次是 EPFL(洛桑联邦理工学院)教授 Sergey Levin、加州大学伯克利分校的 Volkan Cevher 和 Peter Barlett。不得不说,加州大学伯克利分校真是人才辈出。

同时,我们还在这份榜单上看到了国内清华大学计算机科学与技术系的教授朱军、微软亚洲研究院的刘铁岩、清华大学软件学院的龙明盛等华人的身影。

据了解,今年 ICML 共提交 3424 篇论文,其中录取 774 篇,论文录取率为 22.6%。录取率较去年 ICML 2018 的 25% 有所降低。事实上,这与其他顶级会议的论文录取情况十分相似,比如计算机视觉领域顶会 CVPR 2019 的录取率接近 25.2%,比去年的 29% 相比也有所下降。可以看出,近年来人工智能顶级会议的热度虽不减,但录取困难程度在不断提升。

关于今年的获奖和提名论文,大家认为公正吗?对于论文研究成果你有什么看法?欢迎在留言区讨论。

本文分享自微信公众号 - AI科技大本营(rgznai100),作者:CSDN APP

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-06-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • IJCAI 大奖颁布,华人团队拿下最佳学生论文奖

    根据官方公布的数据,本届大会共收到 2540 篇论文,创历史新高,其中 660 篇被接收,录取率约为 26%。据悉,在提交的 2540 篇论文中,中国占比最大,...

    AI科技大本营
  • 第31届NIPS正式开幕,3240篇提交论文创历史新高,公布3篇最佳论文

    美国时间12月4日,第31届NIPS在美国加州长滩的会展中心正式开幕! 之所以NIPS广受关注,是因为它在人工智能和机器学习领域具有重要地位,来自全世界的计算机...

    AI科技大本营
  • 投稿近2000,NAACL 2019接收率仅为22.6%|附录取论文名单

    最近真是学术界公布论文产出结果的火热时期,距离计算机视觉领域的顶级盛会 CVPR 2019 刚公布论文接收结果不久,NLP 领域又迎来了丰收之时。

    AI科技大本营
  • 这 7 篇论文影响巨大,却并不属于任何顶会!

    最近一阵子,NeurIPS 2019 放榜了、ICLR 2020 截稿了,为论文没中而闷闷不乐、为投稿(或者改稿重投)而郁闷头大的同学肯定不少。不过,在乎真正的...

    AI科技评论
  • CVPR 2018,盘点我心中的创意 TOP10

    2018 计算机视觉与模式识别会议 (CVPR) 上周在美国盐湖城举行,它是世界计算机视觉领域的顶级会议。今年,CVPR 收到了主要会议论文投稿 3300 份,...

    昱良
  • CV 届的金鸡百花奖:盘点我心中的 CVPR 2018 创意 TOP10

    2018 计算机视觉与模式识别会议 (CVPR) 上周在美国盐湖城举行,它是世界计算机视觉领域的顶级会议。今年,CVPR 收到了主要会议论文投稿 3300 份,...

    AI研习社
  • 坏论文都写不满8页?这位顶会主席训练了一个好坏论文“颜值”分类器

    最近几年,研究者往计算机视觉领域的顶会投的论文越来越多。下图就能明显看出这一趋势,尤其是从2016年开始,论文提交的数量成指数型增长。如此激烈的竞争也让很多研究...

    刀刀老高
  • 真·论文收割机!谷歌169篇霸榜NeurIPS2020,清华稳居国内第一!

    今年,NeurIPS论文提交数再次创新高,与去年相比增加了38%。但是,论文接收率相比来说,稍有下降。

    新智元
  • EMNLP最佳论文公布,“让发明自己语言的AI说人话”上榜

    李林 编译整理 量子位 报道 | 公众号 QbitAI ? 自然语言处理领域的学术会议EMNLP今天评出了四篇最佳论文:最佳长论文两篇、最佳短论文和最佳资源论文...

    量子位
  • 2020计算机视觉stae-of-art论文汇总

    好记性不如烂笔头,更何况针对自己不熟悉的领域,没有工程实践,可能不了解论文的痛点。而且太多的awesome, 怎么也看不完:只收藏不看不如一篇一篇的看(git提...

    绝命生

扫码关注云+社区

领取腾讯云代金券