Reddit最火!55页博士笔记总结ICLR 2019大会干货

【导读】ICLR 2019共收到1591篇论文,录取率为31.7%。这篇55页、由布朗大学博士四年级学生David Abel总结整理的ICLR 2019参会Highlights笔记,提炼了演讲和会谈亮点,通篇干货!

作为今年上半年表现最为亮眼的人工智能顶会,ICLR 2019于5月6日至9日在美国新奥尔良举行。本届投稿比去年增长了近60%,共收到1591篇,录取率为31.7%。

与往年一样,本次大会每天分上午下午两场。每场形式基本一样,先是邀请演讲(invited talk),然后是讨论,也就是被选为能够进行口头发表(Oral)的论文、茶歇、海报展示(poster)。

邀请演讲列表:

8个邀请演讲主题:

  1. Cynthia Dwork:算法公平性的进展
  2. Leon Bottou:Learning Representations Using Causal Invariance
  3. Emily Shuckburgh:机器学习能否有助于地球健康的检查
  4. Ian Goodfellow:对抗机器学习
  5. Pierre-Yves Oudeyer:发展自主学习:人工智能,认知科学和教育技术
  6. Zeynep Tufekci:虽然我们都担心机器学习的失败,但如果它成功了,潜伏着什么危险?
  7. Mirella Lapata:用神经模型学习自然语言界面
  8. Noah Goodman:在上下文中学习语言

Criteo AI Lab给出的ICLR 2019提交的研究课题热度:

今天,人工智能领域最为重要的学术会议之一IJCAI也公布了最终论文接收结果。IJCAI 2019共收到有效提交论文4752篇,比去年多了近1300篇,接收850篇,接受率为17.9%,相比去年有所下降。主办方感慨今年论文提交数量确实多:

论文收录结果出炉后,被收录的自然纷纷晒出自己的收录通知;而另一边,落选者也表达了自己的遗憾之情。

那么ICLR 2019会场都有谁上台演讲了?他们都讲了什么?下面新智元为大家带来一份55页的ICLR 2019会议的Highlights笔记,由布朗大学博士四年级学生David Abel总结整理,通篇干货。

David个人主页:

https://david-abel.github.io/

这份笔记共分为3个部分,首先简单介绍了大会的亮点;接着介绍了第一天的算法公平性演讲和一些Workshop;后面主会部分提炼了部分演讲和会谈的亮点。

ICLR亮点:深度学习局限引争论,元学习、图神经网络最热门

最近围绕Rich Sutton的一篇《痛苦的教训》引发很多讨论,也在本次会议上进行了辩论。SPiRL研讨会2的小组讨论也有很多关于这个主题的见解,SPiRL研讨会非常出色。演讲者阵容,演讲和小组都很特别。

比较热门的话题有元学习,非常受欢迎,特别是meta RL;还有图神经网络。

David表示笔记中涉及到的演讲都是他最喜欢的,并特别提出了在RL中学习抽象/层次结构的一些非常好的论文,包括Nachum等人的“Near-Optimal Representation Learning for Hierarchical Reinforcement Learning”;Levy等人的“Learning Multi-Level Hierarchies with Hindsight”;Koul等人的“Learning Finite State Representations of Recurrent Policy Networks”。

下面新智元为大家介绍其中部分Keynote内容,文末负有完整笔记PDF文档供大家下载。

主旨演讲1:当前算法公平性的进展

算法公平性的议题早在9年前就被提出来了,今年是微软杰出科学家Cynthia Dwork在这个领域持续研究的第八年。她观察发现,算法对我们某些经历的控制越来越严重,比如我们网上观看的广告、申请贷款的资质、选择大学等等。如此一来,算法的公平性就显得尤为重要,尤其是对算法越来越依赖的今天。

在Keynote中,Cynthia Dwork提出两个观点:

  1. 算方是不公平的,数据不具备代表性,标签会体现出偏见
  2. 算法能够对我们的生活起到非常大的改变。举例:
    • 房屋按揭条款
    • 拘留/释放
    • 药物和健康
    • 决定一个孩子是否被从家中送走

很多论文都提到被上述例子震惊到:没想到算法对我们的影响如此之大。

接着Dwork给出了算法公平性需要满足两个定义,首先是群体公平性;其次是个体公平性。

什么是群体公平性呢?举个例子,学生入学的资格应该是平等的;或者,优秀班级和差的班级应该达成一种平衡。

个体公平性指的是在给定的分类任务方面,相似的人应该得到类似的对待。

Dwork提出实现算法公平性的几点尝试,例如可以通过汇总从少数代表获得的近似值来实现视差,弥合群体与个人公平性之间代沟等。

主旨演讲2:利用机器学习对地球健康进行检查

气候学家Emily Shuckburgh提到,地球上二氧化碳浓度增长迅猛。

最近一项关于生物多样性的研究表示,在接下来的几十年中,将会有100万种物种面临灭绝的危险。那么机器学习在地球健康检查中,能够起到哪些作用呢?

Emily Shuckburgh指出,我们现在迫切需要了解有关气候风险的可操作信息,以及从自然灾害(例如洪水、干旱等)、生物多样性变化导致的影响、生物链和自然世界(例如珊瑚礁,森林,北极海冰,永久冻土等)中发现潜在的风险和结果。

目前在地球气候变化方面,我们有大量可用数据,包括来自卫星、水下探测机器人设备、探测器网络、电脑的模拟环境以及众包。这些数据的数量,远远超出了我们人类的处理能力。

Emily Shuckburgh认为机器学习可以在从3个方面提供行星健康检查,分别是:对行星进行监控、找出症结并进行治疗。

主旨演讲3:利用AI研究儿童学习行为

法国国家信息与自动化研究所(Inria)的AI研究员Pierre-Yves Oudeyer提到,孩子是非凡的学习者!不需要工程师监督他们,手动调整他们的学习算法和环境的每个方面。

儿童行为的研究,可以为以下3个领域提供指导:

  1. 认知科学:理解人类发展和学习
  2. 机器人:终身和自主学习的新理论
  3. 在教育技术中的应用

Oudeyer举了3个例子:

  1. 在机器人中设计运动和感知原始物的形态学,身体生长和成熟的研究
  2. 考虑语言习得,例如孩子们可以很快学会新语言
  3. 内在动机,游戏和好奇心

主旨演讲4:机器学习威胁论

科技社会学家Zeynep Tufekci提到科学是一把双刃剑,比如很多人从小想当物理学家,结果许多物理学家遇到了核武器的问题,科学领域进步面临大规模道德问题。

最近在欧洲核子研究中心,700人担心如何分配诺贝尔奖;与此同时在计算机科学领域,我们担心我们的工具会对社会、安全、劳动力、气候、社会基础设施等的影响。

Tufekci提到,我们是这个世界的一部分,我们开发出来的工具也是,而这些工具也不一定会按照我们希望的方式被使用,它可以向善也可以为恶。我们需要担心的是:如果机器学习有效,我们该怎么办?我们给了这个世界什么?

完整笔记下载:

https://david-abel.github.io/notes/iclr_2019.pdf


原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2019-05-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券