专栏首页机器之心专栏 | 田渊栋:第一届FLAIR感想

专栏 | 田渊栋:第一届FLAIR感想

机器之心专栏

作者:田渊栋

作为这次东方科技论坛,人工智能海外博士生研讨会(Future Leaders of AI Retreat, FLAIR)的组织者之一(感谢上海纽约大学张峥教授牵头),我觉得这次会议举办得很成功。首先学术水平非常高,每个领域做得最好的几个海外博士生过来演讲,工作也是他们亲手做的,更可贵的是演讲质量,包括原创性、流畅性和组织性,都非常好。我有种感觉是大家都把它当成主题演讲(Keynote)来准备了。此外,与观众的互动也非常有效率,提问切中要害,讨论热烈而不流于形式,没有空话套话。从某种程度上说,这比请他们的老板还要有效。一个会好不好,就看内容是否充实,交流是否充分,这次的会议全都做到了。

这次议程中有三个专场和我有关,理论、强化学习和系统,前者(基于数据分布的非凸优化)是我博士阶段一直做的方向,之后将相似的思路运用于深度学习上,而我们最近的 ELF 训练平台则和后两者密切相关。这次理论环节有很多人听并且提出高质量的问题,让我感到非常惊讶。我想这主要是因为最近在 NIPS 上有关深度学习是否「炼金术」的争论吧。虽然整个领域在理论方面有所进展,但仍然局限于形式比较简单的非凸问题(如矩阵低秩分解)或者很强的假设(如浅层网络高斯输入)。希望在新的 2018 年会有更多深入的理论文章出来,在这方面我也会尽自己的绵薄之力。

关于深度学习的理论,来自卡耐基梅隆大学的杜少雷说等十年二十年,我觉得有点悲观。其实只要有一两篇打开局面指导大方向的文章,那大部队(做数学、统计学、理论计算机等方向的学者)会很快涌入,把整个体系建立起来。现在的问题是这不是好摘的果子,没人愿意碰。我还是坚信目前深度学习没理论未必意味着真没理论,回顾历史,哪一个使用广泛效果卓著的东西没被整理成漂亮的形式?行星运动、电磁现象、热力学、频谱分析、空气动力学,没找到理论前都十分复杂,等到经过千锤百炼简化了之后,银妆粉黛进了教科书,大家才会感叹一切如此完美精致。我的想法是,在欣赏理论之美之余,还是要记得是现实问题塑造了数学工具而不是倒过来,更不能在现有工具暂时无法解决新问题之前轻言放弃。

要是没路,就要自己开条路出来。

强化学习专场由我主持。每个演讲都有出彩的地方,像来自英国剑桥大学的顾世翔用时序差分模型去做任务规划,来自卡耐基梅隆大学的周佳骥使用预设的物理模型来教机器人完成复杂任务,来自斯坦福大学的朱玉可让机器人自动拼接子程序,还有北京大学的孔祥宇用主-从关系来控制即时战略游戏多兵对战的战术指挥。这些都代表着强化学习的最新探索方向。最后,我把我们组的轻量快速灵活的强化学习训练平台 ELF 再宣传了一次。演讲完之后的讨论涉及到几个强化学习的根本问题,比如说到底是要用数据训练(这样样本复杂度会比较高)还是加入尽可能多的先验知识(这样灵活性会受影响);如何探索巨大的状态和行动空间,如何处理探索未知和利用现在好的策略之间的关系,等等。

关于(深度)强化学习,我觉得一个目前比较困难的点,是很多算法设计都是人为加入的,比如说物理模型的选取,比如说程序里那些函数的设置,比如说层次式强化学习中每一层的设计,这些都是预先给定的,而计算机只是调整里面的参数,以达到最优的性能。若是要再往上走一层,达到对结构本身的学习和对概念的自动抽取,目前还非常困难;然而若是要达到人的水平,这些能力是必不可少的。目前来看,这样的研究用进化算法或者随机搜索是可以做的,只是需要耗费大量的资源,目前只有大公司才可以办到。

第一天傍晚是自然语言专场,先是今日头条的李航博士讲解了对话系统的构建,然后是深度好奇创始人吕正东介绍了如何在自然语言分析中使用预先定义好的类信息来构建知识图谱,来自伯克利的胡戎航则介绍了我们组(Facebook AI Research)在 CLEVR 数据集上的基于图像的问答系统。这里的一个核心问题是如何结合符号表示和深度学习,如何处理模糊语义,还有如何表示更高级的抽象概念,这些都是很大而且还完全没有解决的问题。

第二天的系统专场有来自华盛顿大学的陈天奇向大家讲解 TVM,一种张量操作的中间层表示方案,整个演讲很清晰并且展示了用这种表示方案自动生成代码后的加速效果,接下来是王敏捷讲解上海纽约大学在这方面的努力。很明显这两个工作是互补的,我相信在这之后会有进一步的合作。在讨论环节,上海纽约大学的张峥教授问大家为什么选系统方向?我觉得这是个很好的问题。愿意做系统的人,往往都是想要认真解决实际问题的人,而不是只想着猛发文章了事。是以做系统的学者尽管文章不多,但是做的东西非常扎实可用,也可以推动其他方向的发展,所以我希望将来更多的同学参与到这个领域中来,做可重复且实用的研究(这个对深度强化学习尤其重要)。另外,做系统可以锻炼人多方面的能力,使用现有软件乃至想出想法并不难,但能不能把一个系统调通做好,可以说是进阶者和初学者的分界线,也是在职场上极度稀缺的能力。

最后一个专场是讨论 AI 的创造性的。主要有来自斯坦福的施正珊讲述了一些人和 AI 合作创作音乐的实践,还有筑波大学的两位本科生介绍结合众包和 AI 做时装设计的系统。之后的讨论顺理成章地滑向了「AI 本身是否有创造力」及「如何评价 AI 创造的艺术」这个话题,讨论非常热烈,话筒难求。和围棋这种有绝对标准的游戏不同,我的意见是对于艺术作品,得是要全人类来做评判,对于人本身的建模非常难,而且评判标准会随时而变,所以在这方面,AI 会和人类一起前进吧。

本文为机器之心专栏,转载请联系原作者获得授权。

本文分享自微信公众号 - 机器之心(almosthuman2014)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-12-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 松鼠AI出席Developer Week开发者大会,详解AI自适应学习平台背后的核心技术

    DeveloperWeek 是旧金山地区规模最大的开发者大会,每年吸引来自 70 多个国家的 8000+ 开发人员、工程师、软件架构师、开发团队、经理和高管聚集...

    机器之心
  • 想了解风头正劲的联邦学习?这篇包含400多个参考文献的综述论文满足你

    论文链接:https://arxiv.org/pdf/1912.04977.pdf

    机器之心
  • 从自编码器到生成对抗网络:一文纵览无监督学习研究现状

    选自Medium 机器之心编译 参与:Nurhachu、蒋思源、吴攀 无监督学习是深度学习的圣杯。它的目的是希望能够用极少量且不需要标注的数据训练通用系统。本文...

    机器之心
  • 【新加坡国立大学张戎】深度学习与强化学习(附slide下载)

    来源: https://cloud.tencent.com/developer/article/1006637 随着 DeepMind 公司的崛起,深度学习和强...

    WZEARW
  • 深度学习已成强弩之末?Bengio等大牛NeurlPS2019上支招

    NeurlPS 2019上,多位专家讨论到AI的未来,认为深度学习算法的瓶颈已经出现。

    量子位
  • 人类玩游戏大战计算机,顺带搞出了「深度学习」

    从深蓝在 1997 年战胜当时的国际象棋世界冠军 Garry Kasparov ,到 Alpha Go 在围棋上秒杀当代高手,到已经过去了 10 年,这也是深度...

    HyperAI超神经
  • 深度学习到顶,自动驾驶出事故,AI的寒冬来了?

    导读:多年来,深度学习一直处于所谓的人工智能革命的最前沿,许多人相信深度学习将带领我们进入通用AI时代。然而,从12,13年甚嚣尘上,到如今的尘埃落地,浪潮一再...

    华章科技
  • 深度学习到顶,AI寒冬将至!

    新智元
  • 深度 | 深度学习并不是AI的未来

    大数据文摘
  • 深度学习瓶颈到来时,Yoshua Bengio有什么新打算?(附NeurIPS演讲)

    我们都知道,深度学习的三驾马车获得了 2018 年的图灵奖,这是对深度学习的技术成功以及三人贡献的最佳肯定。最近几年里,Geoffrey Hinton 带来了知...

    AI科技评论

扫码关注云+社区

领取腾讯云代金券