【新智元导读】谷歌 DeepMind 联合创始人 Demis Hassabis 昨天宣布,和 Hinton 一起发明深度信念网络(Deep Belief Network,DBN)的郑怀宇(Yee Whye Teh)、Simon Osindero 加入谷歌 DeepMind。深度信念网络是什么,有什么影响?郑怀宇和 Osindero 又是谁,他们加入后 DeepMind 可能会有哪些提升?最后有彩蛋,不能错过。
昨天,谷歌 DeepMind 联合创始人 Demis Hassabis 发布了这样一条消息:
“很高兴 Yee Whye Teh 和 Simon Osindero 加入团队,他们两人在 2006 年与 Hinton 合著论文,引发了深度学习革命!”
Yee Whye Teh 和 Simon Osindero 是谁,他们跟 Hinton 一起引发了什么革命呢?
2006 年那篇论文,题目叫做 “A fast learning algorithm for deep belief nets”,《深度信念网络的一种快速学习算法》,刊于 Neural Computation,目前被引用了 4000 多次。
这篇文章解决了什么问题呢?我们知道,在一定程度内,中间隐藏层越多,网络能解决的问题就越复杂。然而,没有人知道怎么训练多层的神经网络(也即深度神经网络),因此深度神经网络一直无人问津。
直到 Hinton、Teh 和 Osindero 2006 年发表上述论文,提出了一个训练深度网络的方法——对每一层网络都进行预训练,然后再微调,这样学习速度就会大幅提高——终于初步解决了这一长期困扰人们的问题。
是那篇文章让人们开始注意深度网络,进而注意到深度学习,开启了新的时代,所以 Hassabis 将其称为“革命”。
雅虎人工智能架构师 Simon Osindero
再来看 Yee Whye Teh 和 Simon Osindero 这两个人。他们都是 Hinton 的学生,而且是同学,博士毕业后,Yee Whye Teh 选择留在学界继续做研究,而 Simon Osindero 则走入产业。
Simon Osindero 的路线大致是:就业→创业→被收购→加入大企业,进入企业研究机构→ 谷歌DeepMind
Simon Osindero 拥有剑桥大学的实验物理和理论物理硕士学位。在剑桥大学的最后一年,Osindero 听了 David Mackay 的信息理论课后,燃起了对贝叶斯统计学、编码理论、机器学习和神经网络的兴趣,之后攻读伦敦大学学院的神经科学博士学位。当时的导师是 Geoff Hinton,之后还得到 Peter Dayan 的指导。Osindero 博士生期间的工作主要集中于探索无监督学习方法之间的联系,神经表征的发展和结构,尤其是与感知信息处理相关的大脑部分的结构。
取得博士学位后,他加入 Geoff Hinton 的团队,在多伦多大学攻读博士后,在2005/2006年跟 Hinton 和 Yee Whye Teh 合著了提出深度信念网络的论文。该项研究与 Yann LeCun、Yoshua Bengio以及加拿大NCAP项目的其他成员的研究一起,引起了大家对现在的深度学习的兴趣。
在多伦多大学完成学业后,Simon Osindero 进入蒙特利尔的初创企业 Idilia 工作,为自然语言处理设计机器学习算法,在此期间发展了NLP和计算语言学方面的能力。之后,他在2009年与人共同创办了 LookFlow——一家将机器学习和人机交互领域的前沿研究转化为产品的公司。
根据 LinkedIn 资料,在公司被雅虎于 2013 年收购之后,他就加入了雅虎,担任雅虎的AI架构师,负责雅虎旗下图片分享网站 Flickr 的计算机视觉和机器学习研发。2016 年 2 月加入谷歌 DeepMind。
Osindero 从计算机科学和神经科学的交互中得到很大启发。他相信,如果要发展理论神经生物学学科,机器学习和信息理论的许多概念是至关重要的。同时,生物学中的见解能帮助我们设计出更好的AI系统。这与谷歌 DeepMind 的主张非常吻合。
不仅如此,Osindero 的长远目标也与谷歌 DeepMind 联合创始人 Demis Hassabis 差不多。2015 年 5 月,Osindero 参加 Re-Work 大会接受采访时表示,从长远来看,他有两个比较大的个人研究目标:(1)促进机器智能在更广阔的领域发展,努力创造出达到人类水平的AI;(2)理解大脑如何工作。
Osindero 对于研发动力有十分明确的认知,在雅虎大部分的研发工作是由产品驱动的,Osindero 他们与产品经理和其他工程团队密切合作,确定短期内能在哪个方向发挥最大影响。“我认为理解经营策略、优先客户体验、目前和短期内的技术能力是很重要的。只有充分了解,才能做出强有力的战略决策。”
Osindero 在去年 5 月接受采访时,介绍了他认为最有前景的研究方向:
牛津大学机器学习教授 Yee Whye Teh
Yee Whye Teh 的中文名字是郑怀宇,他加入谷歌 DeepMind 前是牛津大学的统计机器学习教授。
Yee Whye Teh 的路线:博士后→讲师→教授→谷歌 DeepMind
获得多伦多大学的博士学位,郑怀宇在美国加州大学伯克利分校和新加坡国立大学从事博士后工作,研究方向是机器学习和计算统计学,特别是图形模型、贝叶斯非参数和表征学习。他还多次担任NIPS、ICML和AISTATS的领域主席(area chair)。
从个人网站上可以看见,郑怀宇的学生、合作者里都有在谷歌 DeepMind 工作的人。因此,这个团队对他来说并不陌生。实际上,郑怀宇应该对谷歌 DeepMind 相当熟悉。在 DeepMind 医疗数据风波时,郑怀宇在 Google+ 发表文章:
“DeepMind在皇家自由医院(Royal Free Hospital)临床医生的要求下,成立一个健康部门。一组临床医生认为可以让DeepMind访问160万份医疗记录,而不用咨询患者。这笔交易的规模只在《New Scientist》上的一篇文章中得到说明。我认识在DeepMind的同事,我会宣称他们在两方面无罪。我不相信他们已经接近人类智能的运行机制(尽管DeepMind在这一领域是世界领先的实验室,取得一些辉煌成就)。他们是怀着最大的善意进入健康领域的。但是在现实世界中,最善意的意图往往是不够的。这带来的一个重大问题是,个人隐私数据被其他人控制。尽管这种问题经常出现在媒体上,一个公司和一群医生却会忽视这些问题。”
说到牛津大学,就想到他们前不久和谷歌 DeepMind 一起写了论文,探讨如何预防 AI 失控。关于这一点,郑怀宇的看法是,虽然 AlphaGo已经很了不起,但距离人类智能还差得远。“我们最近在机器学习上取得的进展,还没有什么能影响我们在缺少数据而又复杂的系统中建立模型、作出预测的能力。对于气候变化上,我们只能获得地球这一个星球的数据,这意味着数据特别少。”
2015 年底,郑怀宇参加了纽约举行的会议“人工智能的未来”,之后他总结认为,这样的活动对于扩展辩论、实现共同目标至关重要,然而,当活动没有将某些特定的方面包含在内时,就会有问题。
“关于AI的辩论有一个特别的方面,那就是他们认为AI存在某种神秘的特性。尤其是,我们似乎都认为自己以及我们的智能是很特别的,神圣的,甚至是机器里的灵魂。但是,这种自我崇拜,使我们对于让机器模拟那些我们认为是人类独有的特性而产生恐惧。
“近期在AI取得的进步都是建立在机器学习的基础上。机器学习是数据驱动的,与统计数据紧密相关。这意味:统计学在一端,人工智能在另一端,机器学习位于两者之间,而三者之间顺畅相连。AI最近的发展完全由数据支撑,但是数据几乎从来没有在大会上被提及。
“我认为这是一种危险(而且相当普遍)的趋势,将把我们对AI的讨论与对数据的讨论分离开来。机器学习不只是基于AI最新进展上的原理技术,它与与统计学一样,是推动数据科学发展的原理技术。这一点特别有趣,因为纽约大学会议是由纽约大学数据科学中心主持的,所以与会者并不是没有意识到这一点(该会议的主要召集人之一Yann Le Cun就特别清楚这一点)。”
2016 年 1月,郑怀宇在 Google+ 写了文章《特洛伊战争和机器学习》,这是他对人工智能和机器学习未来思索的第 3 篇文章(目前系列有 5 篇),这个可能更能展现他的特色。在文中,郑怀宇把硅谷投资人比作自顾自的希腊众神,把人工智能比作海伦。其他的角色: