首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >现场报道 | 人工智能老友记:三巨头论剑深度学习新方向

现场报道 | 人工智能老友记:三巨头论剑深度学习新方向

作者头像
机器之心
发布2018-05-08 13:31:34
6510
发布2018-05-08 13:31:34
举报
文章被收录于专栏:机器之心机器之心

机器之心原创

作者:李九喻

2017 年 10 月 10-11 号,REWORK 深度学习峰会在蒙特利尔举办,出席本次会议有不少加拿大和美东地区的业界大咖,其中包括 Uber ATG 负责人 Raquel Urtasun,Google Brain 的 Jasper Snoek 和 Hugo Larochelle,百度的 Greg Diamos,以及超过 600 名地区从业者。机器之心作为唯一来自亚洲的合作媒体对本次会议进行了现场报道。

不过真正撑起大会阵势的是深度学习界三位元老级人物——Geoffrey Hinton、Yann Lecun 和 Yoshua Bengio。

麦吉尔大学教授 Joelle Pineau 在 REWORK 蒙特利尔峰会台上采访 Hinton、 Lecun、和 Bengio。

Yann LeCun 在 1985 年慕名结识 Geoffrey Hinton,而 Yoshua Bengio 在读硕士时认识 LeCun。这三位科学家在相识的 32 年期间先后声名鹊起。Hinton 就此在讲台上调侃到:「我的工作最先得到注意,随后是 Yann。如今 Yoshua 真正发力了,我每隔几个星期就能在 arXiv 上看到他的佳作,都有点追不上他的思路了。」

自 2012 年 AlexNet 在 ImageNet 比赛上获得突破以来,学界、业界都在深度学习的高速发展中受益。然而台上的先驱们却认为今天的人工智能与人类智力的还相差甚远。目前的机器学习系统建立在监督式学习的基础上,不断地犯一些人类根本不会犯的错。系统依赖于肤浅的统计规律,并不能真正的理解世界。

面对这个困境,Hinton 和 Bengio 分别在大会上宣讲了自己的新理论:Capsules 和意识先验(The Conscious Prior)。

针对目前人工智能基础研究的瓶颈,Bengio 举了两个例子说明:第一个是婴儿理解世界。婴儿通过不断的互动和玩耍理解周围的世界,这是个无监督、自发式学习过程。他(她)通过自己的观察,明白环境中潜在的因果关系。

第二个是人类自带的应急机制。Bengio 在 18 岁时曾遭遇车祸,并在危险时刻成功自救。这是他人生第一次发生事故,然而大脑却在「零数据」的基础上,正确地教导身体做出了一系列应急反应。

根据以上两个案例总结,Bengio 认为现在的智能系统对物理架构理解的很深,却忽略了与环境互动、和人的意识在学习中所发挥的作用。目前的无监督学习训练目标也集中在以图像为主的像素空间,而不是包涵语义、更高级别的抽象空间。

机器应该模拟人类,建立智能体在感知、表征和意识之间的关系。

这其中表征(representation)是一个非常重要的概念。从深度学习浪潮兴起的最开始,科学家的目标就是不断学习更高层次、更为抽象的表征。目前的系统已经可以支持多维度的表征学习,随着抽象水平的上升,表征的层级也将递增。Bengio 举例说比如在语音素材里,从样本、到频谱带、声音、因素、词就跨越了很多层。

这一切都可以和以自然语言为代表、更为高层次的抽象概念挂钩,将以深度学习为代表的联结主义和符号主义结合。Bengio 提议使用无监督强化学习的方法,在虚拟环境中进行试验。

Bengio 着重提及了今年 9 月份在 arXiv 上发表了一篇标题为:意识先验(Conscious Prior)的论文。这个理论认为在实际行动的抽象空间里,应该有一个低维度的向量来表现意识。跟潜意识的大脑相比,显意识的维度很低,是脑海里最高级别的表征,通常可以用一到两个短语表示。意识为多维度的表征世界提供了约束,并且在陈述现实的时候比较准确,也因此在进行预测时意外的好用。

Hinton 也在会议上解释了自己最新的 Capsule 理论,意图代替传统的卷积神经网络。Capsule 把每一层神经元组合起来,装进「胶囊」(capsule)里面,在完成内部计算后输出每一层的压缩结果。这种结构的灵感来自于人脑的微柱体。一个「胶囊」有两个输出值:第一个对象的分类,第二个是对象的位置、朝向、大小、形状、体积和颜色等特征。

坐在台下的 Bengio 向 Hinton 提问

读者可以阅读机器之心之前发表的——浅析 Geoffrey Hinton 最近提出的 Capsule 计划。介于 Hinton 使用的幻灯片、演讲内容和举例与文中无差别,我们不展开复述。

就二者理论目前的应用方向来看,Hinton 的着重点是帮助机器处理静态和动态的视觉感知,能更好模拟人的视觉系统。而 Bengio 着重在机器对世界从表征延伸到语义层面的通俗理解,这个可以追溯到他早期使用神经网络做自然语言处理。从大方向上来看,Bengio 在推动通用人工智能的野心更大。

值得一提的是,二者在对智能的探索上都持续借鉴了人脑结构和认知神经科学。这种契合也奠定了主流人工智能基础研究的发展。

随后三人在台上重聚,再度聊起了彼此长达 30 多年的的学术友谊。在谈起三人之间最大的分歧时,LeCun 表示:「我们在研究方向上一样,解决的方法则大同小异。不过我记得有一段时间 Geoff 很喜欢用概率。」Bengio 立即披露了一个事实:「Yann 对使用概率解决问题很不感冒,他管 Geoff 叫概率警察。」

在对于未来人工智能研究的方向,LeCun 认为现在的研究将逐步被完善并且参数化,它的成果不会消失,但并不够用。我们需要新的架构,很多人看好动态架构(Dynamic Architecture)。自然语言处理研究也有很多有趣的进展。我们还需要训练超大学习系统,还需要将深度学习与更加离散,诸如推理的方法结合起来。

而 Hinton 的关注点更为具体:「我认为 Yann 和 Yoshua 也同意我的这个观点——目前最大障碍是无监督学习没有目标函数。我在 92 年发表的一篇论文将空间一致性作为目标函数,通过这样做我们可以学习更多层网络和更多的东西。」

最后当主持人 Joelle Pineau 询问是否有那种一解决就可以退休的课题时,现年 69 岁的 Hinton 表示需要解决机器翻译、并且让其真正理解所翻译的事物,这个课题需要花 10 年左右。现年 57 岁的 LeCun 希望帮助机器理解常识,认为这个课题需要花 10 年到 20 年。

「当然也有可能在一个星期内搞定。」Hinton 侧头望着台上的 LeCun 和 Bengio 抿嘴笑了笑。

本文为机器之心原创,转载请联系本公众号获得授权。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2017-10-14,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 机器之心 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
NLP 服务
NLP 服务(Natural Language Process,NLP)深度整合了腾讯内部的 NLP 技术,提供多项智能文本处理和文本生成能力,包括词法分析、相似词召回、词相似度、句子相似度、文本润色、句子纠错、文本补全、句子生成等。满足各行业的文本智能需求。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档