ICLR2018 | 深度学习顶会见闻,干货资源都在这里(附源码、论文链接)

虽然仅仅举办过六届,ICLR已经是深度学习领域的顶级会议,得到了业界的广泛认可。第六届ICLR于2018.4.30~2018.5.03在温哥华会展中心召开,笔者署名的一篇文章有幸被workshop接收且受邀参会,下面聊一聊个人在ICLR2018上的见闻。

ICLR2018会议大观

ICLR 2018共计收到1003篇论文投稿,最终2.3%的Oral论文、31.4%的Poster论文、9%被接收为Workshop track,51%的论文被拒收、6.2%的撤回率。在论文提交时间上,有一个有趣的现象,1003篇论文中,有近800篇论文是截止时间前24小时提交的,其中最后半小时提交了200多篇,验证了DDL是第一生产力是全球通行的,哈哈哈,不过也说明大家精益求精吧。

来源:DeepMind的Oriol Vinyals的推特

在各单位论文接收数量上(等效数量,例如一篇文章3位作者,3人属于单位A则算A一篇,若是只有1人属于单位A则算1/3篇),谷歌独占鳌头,随后是CMU,斯坦福,伯克利等北美名校。

来源:http://webia.lip6.fr/~pajot/dataviz.html

关于会议的一些基本的数据统计分析情况,已经有人做出了非常漂亮且详细的图表,在此不赘述,感兴趣的可查看上网站,有python源码:

http://webia.lip6.fr/~pajot/dataviz.html

会议共四天,每天都分为上下午两场,上下午形式一致,首先是一篇邀请报告,再次是三篇oral论文的汇报,最后是Poster环节。笔者走马观花的听了一下汇报、扫了一下海报,直观感受(主观感受)有:

  • 涉及的主题关乎深度学习方方面面
  • 刷指标的很少,关注深度学习理论方面的很多
  • 生成式对抗网络相关研究热度不减
  • Google发文真多外,大家也都喜欢围观Google的论文

文章以及涉及的方向实在太多,只能走马观花的扫一下,有根据论文评审得分,给论文排了序,大家可根据自己感兴趣的挑选和阅读:

https://chillee.github.io/OpenReviewExplorer/

参会感悟

会议的报告以及海报涉及到深度学习的方方面面,口头报告也只留有一个大概的印象,数量众多的海报更只是走马观花的扫了一遍,对当前的研究方向热点有个整体的感受了。此次参会有两点感受颇深:

1. 好好做事,做好事。做一件事情,觉得真的有用,能解决一些实际问题的时候,好好做下去,结果总不会太差;对于做研究来说,做成了,顶会/刊文章也就来了。

2. 出去走走看看,有很多同龄人在踏踏实实的把一件事情做好。

后记

笔者由清华大学研究生院与数据科学研究院共同开设的大数据能力提升项目与大数据、机器学习结缘,在项目中所学与自身专业(电子)结合,也在此次会议的workshop中发文。此文的内容,属于神经网络的硬件加速方向,通过设计一种新的数据压缩格式和数据计算流程,在据此设计的计算架构上计算效率有较为显著的提升。相关研究得到了数据科学研究院的大力支持。

关于数据科学研究院、清华大学大数据能力提升项目:

http://www.ids.tsinghua.edu.cn/

对笔者的工作感兴趣的可以查看以下论文(笔者近期也会在数据派分享详细的论文思路和内容):

https://arxiv.org/abs/1803.10548 https://arxiv.org/abs/1801.07459

会议干货资源

ICLR2018论文统计:

http://webia.lip6.fr/~pajot/dataviz.html

ICLR2018论文评分排序:

https://chillee.github.io/OpenReviewExplorer/

ICLR2018邀请汇报和口头汇报(oral论文)的视频(需科学上网):

https://www.facebook.com/pg/iclr.cc/videos/

三篇Best Paper:

  • On the convergence of Adam and Beyond
  • Spherical CNNs
  • Continuous adaptation via meta-learning in nonstationary and

作者简介

刘念宏,清华微电子硕士三年级,《大数据能力提升项目》学生,前清华大学学生大数据研究协会会长。

原文发布于微信公众号 - 数据派THU(DatapiTHU)

原文发表时间:2018-05-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

谷歌 TPU 的强大与局限:TPU/GPU/CPU性能功耗全面对比

【新智元导读】谷歌公布 TPU 论文(被ISCA-17 接收)引发新一轮讨论,连英伟达CEO黄仁勋都亲自撰文回应。使用 TPU 代表了谷歌为其人工智能服务设计专...

83090

人工智能(AI)自然语言理解的问题

在韩国首尔举行的围棋赛的中途,世界级顶尖围棋选手李世石和谷歌人工智能阿尔法狗的较量中,人工智能阿尔法狗走出了超越人类令人不安的神秘的一步棋。

43490
来自专栏华章科技

人工智能 = 深度学习?

该书选取了如何让机器“智能”地理解“短文本”(比如搜索查询、广告关 键字、标签、微博、问答、聊天记录等)这一前沿研究课题,汇集了王仲远博士及其合作作者在国际顶级...

15220
来自专栏罗超频道

【开脑洞】未来,机器是否会取代人工翻译?

科技博客用翻译软件来翻译硅谷资讯,大学生使用翻译软件阅读英语论文,海外旅行者已把翻译App作为手机必备应用,看样子机器翻译就要取代译员,如同机器在问答、导航、收...

30360
来自专栏AI科技评论

动态 | 多位教授牵手FB AI 研究院,机器人实验室毗邻CMU成立

AI 科技评论按:美国时间 2018 年 7 月 17 日,Facebook 首席 AI 科学家 Yann LeCun 在 Facebook 新闻中心发出一篇博...

11130
来自专栏大数据文摘

[干货] 一个数据科学家的新年计划

170100
来自专栏企鹅号快讯

AI时代:算法上天,道德入地

1 随着AI热的兴起,算法这个原本专属于计算机行业的词汇也开始频繁出现在公众眼里。仔细一看,算法和算力这些词颇有神秘感。算法本来的定义是计算机专业领域用来解决问...

213110
来自专栏华章科技

如何真正学好数据科学?

作为一个全新的领域,数据科学的飞速发展让人激动。数据科学在带来巨大经济效益的同时,人们在数据科学技术方面的知识沟也逐渐出现,这意味着更多的人需要试图了解和学习数...

6420
来自专栏灯塔大数据

经验谈丨如何在一年之内成为一名数据挖掘工程师?

? ? 不管是数据分析师还是数据挖掘工程师,我们的目标都是认识数据,从数据中发现需要的信息。 ? ? 所需要的技能 ? 做数据分析,统计的知识肯定是需要的,E...

34750
来自专栏新智元

【复现谷歌论文,成为共同作者】Facebook AI Lab负责人发起ICLR可重复性竞赛

【新智元导读】如今机器学习论文可复现性低成了研究界愈发关注的问题。为此,Facebook蒙特利尔AI Lab负责人联合全球5所大学,发起了机器学习可复现挑战赛,...

416150

扫码关注云+社区

领取腾讯云代金券