首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >2018 ACM博士论文奖公布:伯克利博士获奖,清华姚班马腾宇荣誉提名

2018 ACM博士论文奖公布:伯克利博士获奖,清华姚班马腾宇荣誉提名

作者头像
机器之心
发布2019-05-17 12:52:40
4840
发布2019-05-17 12:52:40
举报
文章被收录于专栏:机器之心机器之心

机器之心报道

参与:路、李亚洲

今日,2018 ACM 最佳博士论文奖公布,UC 伯克利博士生 Chelsea Finn 凭借论文《Learning to Learn with Gradients》荣获此奖。来自微软的 Ryan Beckett、本科毕业于清华姚班的马腾宇获得荣誉提名。

今日,ACM 公布最佳博士论文奖,来自 UC 伯克利的博士生 Chelsea Finn 凭借论文《Learning to Learn with Gradients》摘得桂冠。这篇论文介绍了一种基于梯度的新型元学习算法,帮助深度网络基于小型数据集解决新任务,该算法可用于计算机视觉、强化学习和机器人学等领域。

Chelsea Finn 也在社交平台上表达了自己获奖后的心情:

「很荣幸可以获得今年的 ACM 最佳博士论文奖。感谢我的导师和同事在我博士期间给予的支持和友谊,尤其是导师 Sergey Levine(UC 伯克利助理教授)和 Pieter Abbeel(UC 伯克利教授)。

2018 ACM 最佳博士论文

深度学习改变了人工智能领域,给语音识别、计算机视觉和机器人学带来了显著进步。但是,深度学习方法需要大量数据,而这在医疗成像、机器人学等领域中并不容易获取。

元学习是目前机器学习领域一个令人振奋的研究趋势,它解决的是学习如何学习的问题,允许机器基于少量数据学习。元学习算法使用之前的数据学习如何快速适应新任务,从而「学习如何学习」。

但是,元学习方面最初的一些研究聚焦于设计复杂的神经网络架构。Chelsea Finn 在这篇博士论文中,介绍了一类新方法 —— 与模型无关的元学习(model-agnostic meta-learning,MAML),该方法使计算机科学家免除了手动设计复杂架构的工作。

BAIR 在 2017 年 7 月发布的一篇博客中介绍了 MAML 方法,参见:与模型无关的元学习,UC Berkeley 提出一种可推广到各类任务的元学习方法,相关论文《Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks》被 ICML 2017 接收

ACM 在获奖通知中表示:「MAML 方法在该领域产生了巨大影响,并在强化学习、计算机视觉以及机器学习的其他领域中得到了广泛应用。」

获奖论文《Learning to Learn with Gradients》全文链接:https://www2.eecs.berkeley.edu/Pubs/TechRpts/2018/EECS-2018-105.pdf

为了研究「学习如何学习」这个问题,这篇论文首先对元学习问题及其术语、元学习算法的特性给出了清晰正式的定义。然后基于这些基础定义,展示了一种新方法 —— 与模型无关的元学习(MAML),该方法能够将基于梯度的优化潜入到学习器中。

与之前的元学习方法不同,该方法聚焦于获取可迁移表征,而不是好的学习规则。由于 MAML 方法学得的表征能够控制更新规则,因此该方法既继承了使用固定优化作为学习规则的优秀特性,同时还保留了完整的表达性(full expressivity)。

像其他元学习方法一样,MAML 需要在各种任务上进行训练。该方法需要学习训练一种可以很快适应新任务的方法,并且适应过程还只需要少量的梯度迭代步。元学习器希望寻求一个初始化,它不仅能适应多个问题,同时适应的过程还能做到快速(少量梯度迭代步)和高效(少量样本)。

这种方法十分简单,并且有很多优点。MAML 方法并不会对模型的形式作出任何假设。它十分高效,因为其没有为元学习引入其他参数,并且学习器的策略使用的是已知的优化过程(如梯度下降等)而不是从头开始构建一个。所以,该方法可以应用于许多领域,包括分类、回归和强化学习等。

下图展示了 MAML 方法的可视化图,即寻找一组具有高度适应性的参数 θ 的过程。在元学习(黑色粗线)过程中,MAML 优化了一组参数,因此当我们对特定任务 i(灰线)进行梯度迭代时,参数将更接近任务 i 的最优参数 φ_i。

MAML 方法图示。

该论文还展示了,通过将元学习元素和基于深度模型的强化学习、模拟学习和逆强化学习相结合,该方法可扩展至动作控制(motor control)应用。从而构建适应动态环境的模拟智能体,使得真实的机器人能够通过观看人类视频学习如何控制新物体,人类仅需几张图像即可向机器人传达目标。论文最后讨论了元学习的开放性问题和未来方向,指出现有方法的关键缺陷以及限制性假设。

Chelsea Finn 其人

Chelsea Finn 年纪轻轻就已成为机器人学习领域最知名的专家之一。她开发了很多教机器人控制和操纵物体的高效方法。例如,她在这篇获奖论文中使用 MAML 方法教机器人抓取和放置物体技能,该过程中仅仅用了一个人类演示视频中的原始像素。

Finn 现任谷歌大脑研究科学家,并在 BAIR 实验室进行博士后研究。2019 年秋,她将成为斯坦福大学全职助理教授。Finn 在加州大学伯克利分校获得电气工程与计算机科学博士学位,在 MIT 取得电气工程与计算机科学学士学位。

Chelsea Finn 有多篇论文发表在 ICML、ICLR、NeurIPS、ICRA、RSS、CoRL 等多个学术会议上,并在多个学术会议及 workshop 上进行受邀演讲。

Chelsea Finn 个人主页:https://people.eecs.berkeley.edu/~cbfinn/

2018 ACM 最佳博士论文荣誉提名奖

2018 ACM 最佳博士论文荣誉提名奖颁给了 Ryan Beckett 和马腾宇,他们都博士毕业于普林斯顿大学计算机科学系。

Ryan Beckett 在博士论文《Network Control Plane Synthesis and Verification》中提出了一种创建、验证网络控制平面配置的通用、高效算法。计算机网络连接着这个世界重要基础设施的关键组件。一旦网络配置出错,人类高度依赖的系统就会崩溃,出现飞机坠毁、银行崩溃等情况。Beckett 的博士论文介绍了一种全新的原则、算法与工具,能够大幅改善当前网络的可靠性。

论文链接:http://www.rbeckett.org/files/thesis.pdf

目前,Beckett 是微软研究院移动与网络组(the mobility and networking group)的研究员。他在普林斯顿大学取得计算机科学硕士和博士学位,在美国弗吉尼亚大学取得计算机科学和数学两个学士学位。

马腾宇在博士论文「Non-convex Optimization for Machine Learning: Design, Analysis, and Understanding」中,提出了一种支持机器学习新趋势的全新理论。他提出的理论推进了对机器学习非凸优化算法收敛性的证明,概述了使用这种方法训练的机器学习模型的特性。

论文链接:https://dataspace.princeton.edu/jspui/bitstream/88435/dsp01th83m199d/1/Ma_princeton_0181D_12361.pdf

在论文的第一部分,马腾宇首先研究了矩阵补全、稀疏编码、神经网络简化、学习线性动态系统等一系列问题,还构建了帮助设计可证明的准确、高效优化算法的条件。在第二部分,马腾宇展示了如何理解、解释使用非凸优化学得的自然语言嵌入模型。

现在,马腾宇是斯坦福大学计算机科学与统计学系助理教授,他博士毕业于普林斯顿大学计算机科学系。

值得一提的是,马腾宇本科毕业于清华姚班,曾获得 2007 年国际中学生数学奥赛银牌(与金牌差一分),2010 年获得美国普特南大学生数学竞赛第 8 名,2014 年获得理论计算机研究生 Simon 奖。

这些都是只能「仰望」的天才吧!

参考链接:https://awards.acm.org/about/2018-doctoral-dissertation

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2019-05-16,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 机器之心 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
语音识别
腾讯云语音识别(Automatic Speech Recognition,ASR)是将语音转化成文字的PaaS产品,为企业提供精准而极具性价比的识别服务。被微信、王者荣耀、腾讯视频等大量业务使用,适用于录音质检、会议实时转写、语音输入法等多个场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档