和 Hinton 一起发明了深度信念网络，他们选择加入 DeepMind
和 Hinton 一起发明了深度信念网络，他们选择加入 DeepMind
【新智元导读】谷歌 DeepMind 联合创始人 Demis Hassabis 昨天宣布，和 Hinton 一起发明深度信念网络（Deep Belief Network，DBN）的郑怀宇（Yee Whye Teh）、Simon Osindero 加入谷歌 DeepMind。深度信念网络是什么，有什么影响？郑怀宇和 Osindero 又是谁，他们加入后 DeepMind 可能会有哪些提升？最后有彩蛋，不能错过。
昨天，谷歌 DeepMind 联合创始人 Demis Hassabis 发布了这样一条消息：
“很高兴 Yee Whye Teh 和 Simon Osindero 加入团队，他们两人在 2006 年与 Hinton 合著论文，引发了深度学习革命！”
Yee Whye Teh 和 Simon Osindero 是谁，他们跟 Hinton 一起引发了什么革命呢？
2006 年那篇论文，题目叫做 “A fast learning algorithm for deep belief nets”，《深度信念网络的一种快速学习算法》，刊于 Neural Computation，目前被引用了 4000 多次。
这篇文章解决了什么问题呢？我们知道，在一定程度内，中间隐藏层越多，网络能解决的问题就越复杂。然而，没有人知道怎么训练多层的神经网络（也即深度神经网络），因此深度神经网络一直无人问津。
直到 Hinton、Teh 和 Osindero 2006 年发表上述论文，提出了一个训练深度网络的方法——对每一层网络都进行预训练，然后再微调，这样学习速度就会大幅提高——终于初步解决了这一长期困扰人们的问题。
是那篇文章让人们开始注意深度网络，进而注意到深度学习，开启了新的时代，所以 Hassabis 将其称为“革命”。
雅虎人工智能架构师 Simon Osindero
再来看 Yee Whye Teh 和 Simon Osindero 这两个人。他们都是 Hinton 的学生，而且是同学，博士毕业后，Yee Whye Teh 选择留在学界继续做研究，而 Simon Osindero 则走入产业。
Simon Osindero 的路线大致是：就业→创业→被收购→加入大企业，进入企业研究机构→ 谷歌DeepMind
Simon Osindero 拥有剑桥大学的实验物理和理论物理硕士学位。在剑桥大学的最后一年，Osindero 听了 David Mackay 的信息理论课后，燃起了对贝叶斯统计学、编码理论、机器学习和神经网络的兴趣，之后攻读伦敦大学学院的神经科学博士学位。当时的导师是 Geoff Hinton，之后还得到 Peter Dayan 的指导。Osindero 博士生期间的工作主要集中于探索无监督学习方法之间的联系，神经表征的发展和结构，尤其是与感知信息处理相关的大脑部分的结构。
取得博士学位后，他加入 Geoff Hinton 的团队，在多伦多大学攻读博士后，在2005/2006年跟 Hinton 和 Yee Whye Teh 合著了提出深度信念网络的论文。该项研究与 Yann LeCun、Yoshua Bengio以及加拿大NCAP项目的其他成员的研究一起，引起了大家对现在的深度学习的兴趣。
在多伦多大学完成学业后，Simon Osindero 进入蒙特利尔的初创企业 Idilia 工作，为自然语言处理设计机器学习算法，在此期间发展了NLP和计算语言学方面的能力。之后，他在2009年与人共同创办了 LookFlow——一家将机器学习和人机交互领域的前沿研究转化为产品的公司。
根据 LinkedIn 资料，在公司被雅虎于 2013 年收购之后，他就加入了雅虎，担任雅虎的AI架构师，负责雅虎旗下图片分享网站 Flickr 的计算机视觉和机器学习研发。2016 年 2 月加入谷歌 DeepMind。
Osindero 从计算机科学和神经科学的交互中得到很大启发。他相信，如果要发展理论神经生物学学科，机器学习和信息理论的许多概念是至关重要的。同时，生物学中的见解能帮助我们设计出更好的AI系统。这与谷歌 DeepMind 的主张非常吻合。
不仅如此，Osindero 的长远目标也与谷歌 DeepMind 联合创始人 Demis Hassabis 差不多。2015 年 5 月，Osindero 参加 Re-Work 大会接受采访时表示，从长远来看，他有两个比较大的个人研究目标：（1）促进机器智能在更广阔的领域发展，努力创造出达到人类水平的AI；（2）理解大脑如何工作。
Osindero 对于研发动力有十分明确的认知，在雅虎大部分的研发工作是由产品驱动的，Osindero 他们与产品经理和其他工程团队密切合作，确定短期内能在哪个方向发挥最大影响。“我认为理解经营策略、优先客户体验、目前和短期内的技术能力是很重要的。只有充分了解，才能做出强有力的战略决策。”
Osindero 在去年 5 月接受采访时，介绍了他认为最有前景的研究方向：
- 在深度学习模型上，将重点从有监督深度学习转移到半监督、无监督深度学习和增强学习；
- 设计学习课程，借鉴发育生物学；
- 使用“注意力代理（attentional agent）”或其他积极的感知机制 ——能有效让模型确定该分析哪些输入（以及以何种方式）——这可以从我们最近提高处理序列模式和递归神经网络的能力中获益；
- 建立能使用、整合不同类型的记忆和 state-persistence（例如短期的，长期的，内存堆栈和联想记忆库）的模型；
- 通过基于分布式表征的某种推理引擎来综合事实性和关系性知识库。
- 我也很高兴看到机器学习领域有越来越多的合作并且更加开放。我认为这对于整个研究领域都是非常重要的。
牛津大学机器学习教授 Yee Whye Teh
Yee Whye Teh 的中文名字是郑怀宇，他加入谷歌 DeepMind 前是牛津大学的统计机器学习教授。
Yee Whye Teh 的路线：博士后→讲师→教授→谷歌 DeepMind
获得多伦多大学的博士学位，郑怀宇在美国加州大学伯克利分校和新加坡国立大学从事博士后工作，研究方向是机器学习和计算统计学，特别是图形模型、贝叶斯非参数和表征学习。他还多次担任NIPS、ICML和AISTATS的领域主席（area chair）。
从个人网站上可以看见，郑怀宇的学生、合作者里都有在谷歌 DeepMind 工作的人。因此，这个团队对他来说并不陌生。实际上，郑怀宇应该对谷歌 DeepMind 相当熟悉。在 DeepMind 医疗数据风波时，郑怀宇在 Google+ 发表文章：
“DeepMind在皇家自由医院（Royal Free Hospital）临床医生的要求下，成立一个健康部门。一组临床医生认为可以让DeepMind访问160万份医疗记录，而不用咨询患者。这笔交易的规模只在《New Scientist》上的一篇文章中得到说明。我认识在DeepMind的同事，我会宣称他们在两方面无罪。我不相信他们已经接近人类智能的运行机制（尽管DeepMind在这一领域是世界领先的实验室，取得一些辉煌成就）。他们是怀着最大的善意进入健康领域的。但是在现实世界中，最善意的意图往往是不够的。这带来的一个重大问题是，个人隐私数据被其他人控制。尽管这种问题经常出现在媒体上，一个公司和一群医生却会忽视这些问题。”
说到牛津大学，就想到他们前不久和谷歌 DeepMind 一起写了论文，探讨如何预防 AI 失控。关于这一点，郑怀宇的看法是，虽然 AlphaGo已经很了不起，但距离人类智能还差得远。“我们最近在机器学习上取得的进展，还没有什么能影响我们在缺少数据而又复杂的系统中建立模型、作出预测的能力。对于气候变化上，我们只能获得地球这一个星球的数据，这意味着数据特别少。”
2015 年底，郑怀宇参加了纽约举行的会议“人工智能的未来”，之后他总结认为，这样的活动对于扩展辩论、实现共同目标至关重要，然而，当活动没有将某些特定的方面包含在内时，就会有问题。
“关于AI的辩论有一个特别的方面，那就是他们认为AI存在某种神秘的特性。尤其是，我们似乎都认为自己以及我们的智能是很特别的，神圣的，甚至是机器里的灵魂。但是，这种自我崇拜，使我们对于让机器模拟那些我们认为是人类独有的特性而产生恐惧。
“近期在AI取得的进步都是建立在机器学习的基础上。机器学习是数据驱动的，与统计数据紧密相关。这意味：统计学在一端，人工智能在另一端，机器学习位于两者之间，而三者之间顺畅相连。AI最近的发展完全由数据支撑，但是数据几乎从来没有在大会上被提及。
“我认为这是一种危险（而且相当普遍）的趋势，将把我们对AI的讨论与对数据的讨论分离开来。机器学习不只是基于AI最新进展上的原理技术，它与与统计学一样，是推动数据科学发展的原理技术。这一点特别有趣，因为纽约大学会议是由纽约大学数据科学中心主持的，所以与会者并不是没有意识到这一点（该会议的主要召集人之一Yann Le Cun就特别清楚这一点）。”
2016 年 1月，郑怀宇在 Google+ 写了文章《特洛伊战争和机器学习》，这是他对人工智能和机器学习未来思索的第 3 篇文章（目前系列有 5 篇），这个可能更能展现他的特色。在文中，郑怀宇把硅谷投资人比作自顾自的希腊众神，把人工智能比作海伦。其他的角色：
- 经典AI：特洛伊城市民，由赫克托尔率领，海伦本应属于他们
- 深度学习：特洛伊木马。特洛伊人傻傻将木马当做经久耐用的象征迎进了城。而实际上希腊人跑出来把人都杀了个光
- 符号逻辑：帕里斯，外表好看，还没实际见过面就得到了海伦，战斗力不强，但有时候运气很好，一对一拼不过墨涅拉俄斯，死于菲罗克忒忒斯的弓下
- 谷歌：海伦的丈夫墨涅拉俄斯。他与海伦的婚姻是众人关注的焦点。墨涅拉俄斯不知道海伦被阿芙洛狄忒许给了帕里斯，代价是一个苹果
- 微软：备受推崇的阿伽门农，有些过时，但仍然有许多珍贵的品质。家族历史让他与众神的关系有些复杂
- Facebook：奥德修斯。战斗一开始躲了起来，但他意识到战斗的必然性后，就积极投入战斗。他根本不在乎海伦，爱着妻子佩内洛普，后话还有很多
- 苹果：阿基里斯，漂亮，硬件很强，很受众神喜爱。战斗时大部分时间都在帐篷里哭（因为跟阿伽门农关系不好），但若受了刺激，还是会努力挣表现的
- 亚马逊：菲罗克忒忒斯，最早被排除在外，但尾盘时每个人都意识到，他才是掌握杀死帕瑞斯关键硬件的人
- “深度学习阴谋论”：卡桑德拉。卡桑德拉说了实话，但人们注定无法相信她。在我们的故事里，为了把情节弄刺激些，不妨假设卡桑德拉后来说对了一件事，自此以后她说什么人们都信
- OpenAI：涅俄普托勒摩斯。在最后出现，很年轻，顶多十几岁。因为子孙后代他受众神青睐。取决于你听到的故事，他要么残忍要么亲切
- 百度：埃涅阿斯，希腊的自由民主是很好，但还是比不过地中海整齐有序的帝国。在特洛伊战争中表现并不是最出彩，最后发现了罗马城
- IBM：海格力斯，确实在过去做过一些很好的工作，特洛伊战争的所有参与方也都很尊敬他，可是他人并不在特洛伊战场。给故事加点料，他会再次活跃，与阿伽门农一起，给奥德修斯一些建议
- 希腊社会：特洛伊战争再精彩，也只是发生在一小部分人之间。如今我们看重的民主、科学和数学，在希腊英雄故事里几乎看不见。战争在特洛伊火领热打响的时候，剩下那么多希腊人在干什么呢？这不禁让人想，真正重要的，是否是剩下的人在做什么。或许希腊社会代表着机器学习及相关行业的从业者，他们向前推进，是因为有明确的目标和实际的利益，就像我们以前那样，直到我们被海伦夺去了目光