ICLR 2020论文投稿2600篇,GNN、BERT、Transformer领跑热门研究方向

出品 | AI科技大本营(ID:rgznai100)

2019 年 4,ICLR 2020 论文征集活动开始,截止 9 月 25 日,大会共收到近 2600 篇投稿,相比 ICLR 2019 的 1580 篇论文投稿,今年增幅约为 62.5%。

  • 近四年的数据统计:
  • 论文主题方面

数据统计显示,根据今年的论文投稿主题来看,虽然深度学习、GAN 等领域依旧是热门,但其投稿数量呈下降趋势。值得注意的是, GNN、BERT 和 Transformer这三大领域,成为今年引人注目的新方向。

在 ICLR 2019 会议中,有两篇论文被评为最佳论文,一篇是由蒙特利尔大学、微软研究院共同研究发表的在 NLP 领域中深度学习模型工作:《Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks》,他们在 RNN 网络中集成树结构,提出一种神经元排序策略;另一篇是 MIT CSAIL 的关于神经网络压缩方面的研究成果《The Lottery Ticket Hypothesis: Finding Spare, Trainable Neural Networks》

对于今年的投稿,有网友已经开始在网上翻阅待盲审的论文,目前有哪些值得关注的研究呢?

近日,引发大家热议的一篇论文是《ARTIFICIAL DESIGN: MODELING ARTIFICIAL SUPER INTELLIGENCE WITH EXTENDED GENERAL RELATIVITY AND UNIVERSAL DARWINISM VIA GEOMETRIZATION FOR UNIVERSAL DESIGN AUTOMATION (FAR FROM THE MADDING CROWD: HOW TO BE SHALLOW TO AVOID GOT LOST IN DEEP FOREST?)》,网友们表示“亮瞎了眼睛”。

文中提出了个一个 Artificial Super Intelligence (ASI) ,用广义相对论(General Relativity)和广义达尔文主义(Universal Darwinism)来建模多智能体深度学习(Multi-Agent RL)。究竟好不好,有没有道理,感兴趣的小伙伴可以研究一下。

论文地址:

https://openreview.net/pdf?id=SyxQ_TEFwS

除了这篇“新颖的论文”,还有其他网友推荐的不同方向论文,如基于BERT提出的 ALBERT,通过减少参数来减少内存的消耗;关于 GNN 和 GCN 的论文《GraphSAINT: Graph Sampling Based Inductive Learning Method》、《Demystifying Graph Neural Network Via Graph Filter Assessment》;NAS 也是近两年的热点,研究者们推荐了多篇论文,优化(Optimization/Adam)的研究工作也有很多。

最后给出待盲审投稿论文的列表,欢迎对有价值的论文留言评论。

待审阅论文列表:

https://openreview.net/group?id=ICLR.cc/2020/Conference

(*本文为 AI科技大本营整理文章,转载请联系原作者)

原文发布于微信公众号 - AI科技大本营(rgznai100)

原文发表时间:2019-10-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券