学界丨先睹为快:神经网络顶会ICLR 2018论文接受结果速览

大数据文摘作品

专栏作者|不看镜头的ZARD

今天早晨,ICLR 2018的论文接受结果揭晓,我们就带大家来大致了解一下今年ICLR 2018的论文接受概况。

ICLR全称International Conference of Learning Representation,是由Lecun,Hinton和Bengio三位神经网络的元老联手发起的。近年来随着深度学习在工程实践中的成功,ICLR会议也在短短的几年中发展成为了神经网络的顶会。

论文接受率:

2.3%的口头展示,31.4%的poster接受,9%的workshop,51%拒绝。

ICLR口头展示论文速览:

ICLR口头论文中一大半的论文会成为ICLR Best paper,同时也代表了2018年的研究方向,下面我们就简单的介绍一下今年的oral论文,由于ICLR会议的论文范围较广,方向比较新,我们也不能够做到面面俱到。

Wasserstein Auto-Encoders (Max Planck Institute)

这篇论文提出了在Variation Auto-Encoder中使用Wasserstein距离进行度量,从而第一次让VAE能够产生跟Generative Adversarial Network比肩的效果。并且WAE在理论上面联系了VAE和GAN。是一篇不可多得理论与实践兼得的好论文。WAE产生的图像如下图:

Spherical CNNs (阿姆斯特丹大学Max Welling组)

卷积神经网络只能够在2D planar图像中使用,但是近年来很多问题如机器人运动,自动驾驶需要对spherical image进行分析。传统的方法是将spherical image投影到2D planar图像,但是这个过程会产生distortion,如下图:

于是作者提出了spherical CNN。Spherical CNN通过傅立叶变换来避免过度的计算。通过傅立叶变换来实现spherical CNN的示意图如下:

相信本篇论文提出的spherical CNN能够在自动驾驶,机器人运动的任务中得到广泛的应用。

Boosting Dilated Convolution with Mixed Tensor Decomposition

本篇论文通过tensor decomposition的角度来分析神经网络,并且提出了mix tensor decomposition的方法来提高神经网络的表达能力。作者在实践中使用了mix dilation的办法来进行mix tensor decomposition。结构图如下:

两个对偶的网络weight sharing,仅仅通过dilation的变化就可以得到不同的连接,提高神经网络的expressive efficiency。

本篇论文的理论分析详尽,并且论文讲述简单易懂,美中不足的是实验部分太弱,但是也不影响该论文被接受为oral。

Ask the right questions:active question reformulation with reinforcement learning(Google)

这篇论文提出了一个做question answering的新的思路,通过question reformulation将一个问题转换成类似的问题,然后反复的选择最佳问题。Question reformulation和answer selection通过强化学习进行训练。流程图如下:

ICLR趣闻

由于ICLR的审稿意见是公开的,所以我们可以看到作者和审阅者之间的思想碰撞,下面我们就介绍一些有趣的事情。

Mix-up vs “Data Augmentation by paring samples for images classification”

这两篇论文提出了类似的方法,通过将数据库的图像的线形组合来做Data Augmentation,并且在CIFAR,IMAGENET上面都取得了好的结果,但是Mix-up被接受,paring samples被拒绝。

Matrix capsules with EM routing

这篇论文是神经网络之父的CapsuleNet的后续,也被ICLR接受了,Geoffrey Hinton是该论文的第一作者。

Progressive Growing of GANs

这篇论文是NVIDIA提出的使用GAN生成high resolution image的论文,由于在论文中违反了double blind原则,在review阶段被拒绝(strong reject),但是由于其amazing的结果,在最后阶段被ICLR接收。

附上大会及相关链接,感兴趣的读者可以自行查看:

ICLR 2018会议链接:

https://openreview.net/group?id=ICLR.cc/2018/Conference

论文链接:

Ask the right question:

https://openreview.net/pdf?id=S1CChZ-CZ

Wasserstein Auto-Encoders:

https://openreview.net/pdf?id=HkL7n1-0b

Spherical CNNs:

https://openreview.net/pdf?id=Hkbd5xZRb

【今日机器学习概念】

Have a Great Definition

原文发布于微信公众号 - 大数据文摘(BigDataDigest)

原文发表时间:2018-01-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏专知

【干货荟萃】机器学习&深度学习知识资料大全集(二)(论文/教程/代码/书籍/数据/课程等)

【导读】转载来自ty4z2008(GItHub)整理的机器学习&深度学习知识资料大全荟萃,包含各种论文、代码、视频、书籍、文章、数据等等。是学习机器学习和深度学...

519120
来自专栏新智元

【Bengio领衔】DeepMind、谷歌大脑核心研究员2017深度学习最新报告(PPT)

【新智元导读】 深度学习领军人物 Yoshua Bengio 主导的蒙特利尔大学深度学习暑期学校目前“深度学习”部分的报告已经全部结束。 本年度作报告的学术和行...

37350
来自专栏AI科技评论

学界 | 谷歌语音识别端到端系统单词错误率降至5.6%,较传统模型提升16%

AI 科技评论按:本文是由来自谷歌语音团队的科学家 Tara N. Sainath 和来自谷歌大脑团队的科学家 Yonghui Wu 共同撰写的,文中简单介绍了...

30660
来自专栏专知

【专知荟萃08】图像描述生成Image Caption知识资料全集(入门/进阶/论文/综述/视频/专家等)

【导读】主题荟萃知识是专知的核心功能之一,为用户提供AI领域系统性的知识学习服务。主题荟萃为用户提供全网关于该主题的精华(Awesome)知识资料收录整理,使得...

1.5K70
来自专栏企鹅号快讯

数字电影技术术语普及

1 1K/2K/4K 在数字技术领域,通常采用二进制运算,而且用构成图像的像素数来描述数字图像的大小。由于构成数字图像的像素数量巨大,通常以K来表示210即10...

24850
来自专栏钱塘大数据

聚类分析—大数据时代数据挖掘的关键突破口

导读:人类文明已迈入大数据时代,得“数据”者得天下,而数据处理技术是必不可少的,那么说到大数据分析中的应用,最常用的经典算法之一就是聚类法,这是数据挖掘采用的起...

42880
来自专栏大数据挖掘DT机器学习

【接上篇】从白富美相亲看特征预处理与选择(下)

作者:龙心尘 &&寒小阳 出处: http://blog.csdn.net/han_xiaoyang/article/details/50503115 ...

35040
来自专栏机器之心

学界 | 从感知机到GAN,机器学习简史梳理

选自chatbotnewsdaily 机器之心编译 参与:蒋思源、李亚洲 机器学习是人工智能的一个重要分支,也是如今学界、产业界的热门研究。公司、高校倾倒了许多...

33890
来自专栏华章科技

再说深度学习是黑匣子,就把这篇文章糊 Ta 脸上

导语:可视化不只是画画那么简单,它或许是我们理解神经网络的世界的方法。PS:标题是作者说的,不是我说的,要打,就打他(逃

15130
来自专栏机器学习算法与Python学习

机器学习正在成为程序员的必备能力

13440

扫码关注云+社区

领取腾讯云代金券