【直播】谷歌大脑团队在线答疑，Hinton 压缩神经网络进展

【新智元导读】谷歌大脑团队Reddit在线答疑，网友热情参与。海量信息中，新智元为你梳理出逻辑——谷歌大脑成员看好的深度学习在哪里？他们如何与时俱进，学习深度学习？队伍成员都有哪些背景，日常工作如何管理？总的来说，谷歌大脑没有KPI，自由度大，扁平化管理，通过开源保持自己处于技术核心。

原文链接：https://m.reddit.com/r/MachineLearning/comments/4w6tsv/ama_we_are_the_google_brain_team_wed_love_to/?compact=true&utm_source=mweb_redirect

深度学习领域有哪些值得期待的突破？

Hinton，你的压缩神经网络进展到什么地步了？

Hinton：过去3年，我在谷歌一直把大量的精力用在压缩（capsule）神经网络的研究上，目前还没有获得成功。这是一个基础研究伴生的难题。虽然很有潜力，但是这不一定会成功。也许目前的最好的研究是Tijmen Tieleman的博士论文。但是，我和Terry Sejnowski 也是用了17年的时间才发明出 Boltzmann 机器学习算法。如果你真的想象一个想法，你要做的就是不断的尝试。

深度学习最令你激动的领域在哪里？

Dan Mané：个人而言，我最感震撼的是新技术（特别是生成模型）在增强人类创造性方面的潜力。例如，神经元涂鸦、艺术风格转换、现实主义生成模型、Magenta 等做的音乐生成工作。

现在，创造力要求品味和视野，也需要许多技术能力——这既包括在小尺度上使用 photoshop 的技能，也包括雇佣数十名动画师和工程师来制作畅销电影的技能。我认为AI能够通过极大降低这些技术障碍来释放人的创造力。

想像一下，你有某个动画片的创意，你只需要撰写脚本，生成模型就会为你的角色创造出逼真的语音，并处理面部表情动画等等。这也会让视频游戏变得极具沉浸性和吸引力；在玩 Skyrim时，当我听到主角 Lydia 不停地说“我注定要为你分担”就感到很烦。如果有了文本生成器和文本语言转换器，这个角色（以及这个游戏世界）将会变得真实得多。

Vincent Vanhoucke：机器人学！我认为在非受限环境中的机器人问题已经到了“差不多要解决但尚未完成”的地步。而深度学习或许将填补上缺失的那一块，令机器人能在真实世界中稳健地工作。

Samy Bengio：所有关于无监督学习和生成模型的近期工作都激动人心。

doomie：所有与深度强化学习和针对学习策略的低样本复杂度算法相关的东西都激动人心。我们希望智能主体能快速、容易地适应新任务。

Doug Eck：超越监督学习。我特别感到振奋的是，在那些我们尚未能以数字方式度量成功的领域中进行的研究。不过我有我的偏好……我为 Magenta 项目工作，这个谷歌大脑项目致力于用深度学习和强化学习来生成艺术和音乐。

Greg Corrado：（1）在医疗保健方面的应用；（2）在艺术音乐方面的应用。

有哪些被人低估但却令你兴奋的机器学习研究项目？

doomie：依我拙见，或许被低估的不是某个技术，而是“对训练数据进行智能自动收集”。这个问题尚未被充分研究，尤其是在上面提到的深度强化学习的语境中，但也不限于这个语境。

Doug Eck：花大量精力去发现元数据中的系统性问题。机器学习等于设施零件组装加上数据质量再加上算法研发。（这是乐观的说法。实际上机器学习就是靠大量的设施组装和大量的数据。）

David Ha：在我看来，进化方法被低估了。让我们感到激动的是构架搜索领域。我们可能已经接近这样的水平：不久之后，我们就能以计算上可行的方式大规模部署进化算法，用以补充传统的深度学习流水线。

Greg Corrado：将神经网络视为对程序的参数化表示，而非视为参数化的函数逼近器。

机器学习，尤其是深度神经网络，需要大量的训练数据来获得好的结果。虽然谷歌并不缺数据，但是关于到底需要多少数据，在理论上是否有下限？Google Brain 团队是否有兴趣去优化必需的训练数据的量？

Greg Corrado：这个问题非常好！（1）现在的机器学习算法需要更多的例子去学习，其数量远远超过人类学习所需的量。从某种程度上来说，这就意味着我们现在的机器学习算法在利用数据方面效率低。找出能让机器学习算法利用更少的数据而学习结果更好的方法，这是一个激动人心的研究领域，对于谷歌和更大的研究圈都是如此。

（2）我们必须要知道，ML算法所需的数据量高度取决于它要完成的任务。构建一个能识别手写数字的ML系统需要的数据量远远小于从照片中识别狗的品种的ML系统所需的数据量，而后者又远远少于训练一个ML算法通过看电影来总结情节所需的数据量。对于许多有趣的任务，人们今天很容易提供充足的数据。

未来量子计算在机器学习中有什么表现？深度学习呢？

Jeff Dean：我个人认为量子计算对深度学习在中短期（比如接下来10年）不会有什么重大影响。更远的，我就不敢说了。我可以非常肯定，真正的大脑不是量子计算机，神经科学也没任何证据可以证明这个说法。

对于其他机器学习，如果规模够大、能够用于解决真实世界问题，那么可能会有影响。我认为专用于加速深度学习的处理器（比如谷歌的TPU），对深度学习的影响会更大。不过，我在量子计算方面完全称不上是专家。

Vincent Vanhoucke：我个人感觉深度学习是验证量子退火特别好的领域，但没有实际证据支持。我一直在努力关注谷歌量子AI实验室的工作，不过说实话，我认为现在还没有到预测什么东西能够对机器学习产生重大影响的阶段。

Greg Corrado：我对此一直有关注（我过去是研究核物理的），我认为量子计算是一个非常令人激动的长期研究领域，但离实用还有很长的距离，因此也不需要去考虑量子计算对机器学习的影响——到量子计算机能够实用之时，机器学习算法估计都已经经历过三次换代了。

机器学习和AI被认为是某种“黑箱”。你认为在AI的应用中，这会带来危险吗？

Chris Olah：神经网络要理解起来会很困难，开发理解神经网络的技术是一个非常重要的研究领域。这里有很多非常有前景的方向，我们也看到了许多的进展，比如基于优化的特征可视化。

我对“黑箱”的说法感情很复杂。从数学的角度来看，我们能看到为什么神经网络会起作用。这一个树木和森林的场景，我们能以一种非常局部的方法理解这个网络，我们也在发展能看到更全全面的图景的方法。但是，我们不能看到人类内部的思考是什么样的，现在，人们对行为的解释一般都是错的。

当然，如果能有透明的技术，能给我们相关解释，这很好。但是我认为，公平，或者其他意外风险的问题更值得注意，这里还有很长的路要走。我认为，在透明、风险、公平和隐私上的工作在机器学习中非常重要。我们非常积极地在推动这方面的研究，比如DeepDream。

George Dahl：Chris Olah 已经很好地回答了我们在理解机器学习模型如何运行上的努力。从理论上说，我们能监视机器运转的每一个方面，即便数量可能太大，不容易做到。

但是，你的问题其实不只针对机器学习，而是任何有效的、大型和复杂的软件系统都会遇到相同的问题。我想说的是，用你的定义来看，世界上绝大多数的软件从某种程度上都是“黑箱”。

也就是说，我们希望在如何部署机器学习软件上更有洞见，特别是拿下事关决策的应用，所以我们要监测训练数据的变化，即便代码并没有什么改变。我们的研究走的是一条开放合作的道路，每年，都会有许多教员和研究者来到谷歌，我们会参加所有的大型会议，并发表上百篇论文。我们非常渴望倾听外界的观点。

工作方针：没有KPI，好奇心驱使，开源保持技术领先

你们做的研究与大学教授的工作有何不同？

George Dahl：在学界可以做的那些工作我们都可以做，包括进行基础研究和更具应用性的研究，只要我们觉得合适。（学界的人也做应用研究！）像学界的人一样，我们通过发表论文、参与会议和工作坊并展示作品来与研究社区互动，（有时）还会与来自其他机构的人就研究工作直接进行写作。

尽管这么说，我们与学术群体仍然有一些重要区别，这些区别会影响我们对项目的选择和我们实施项目的方式。例如，与大多数学术群体相比，我们有更多的计算资源，包括令人振奋的新硬件（例如谷歌 TPU）。我们可以容易地组建起庞大、多元的团体以为项目工作，如果需要的话团体中可以同时具有几位高级别人员，如果需要的话也可以同时包含研究员和工程师。像大学里一样，我们也在培训许多有实力的初级研究员，他们为团队带来大量新鲜想法和能量。在我的团队中，这些人是谷歌大脑的访问学者（resident）和实习生。此外，我们会大量接触实践上非常重要的问题，并有机会去影响 Alphabet 的产品。另一方面，大学通常拥有另外一些影响社会的方式，这些方式是我们不会太考虑的，例如大学会参与政府项目、训练下一代研究人员。（当然，我们的实习生和访问学者项目里也包含培训成分，所以或许我们与大学的最大区别是我们不会像大学一样培养其他专业的本科生。）

由于拥有这些因素，我们希望能发挥我们的优势——去处理那些只有处于我们这样的独特地位时才能处理的大问题。

我们的研究不需要整合到产品中去，当然如果能影响产品那当然是件好事。产品团队决定如何做产品，研究者根据他们的科研日程表决定做什么研究。常常我们做的研究在几年后才能变得有用，而且我个人并不是基于产品需求来制定我的研究日程表的。假如我能够以某种方式在自动摘要、NLP 或化学自动化等领域带来新真正的进步，可能就会产生目前尚不存在的全新产品。如果我们能在感兴趣的科研问题上获得实质性进步，我们将创造出全新的业务。

Martin Abadi：学术道路和产业界道路并不一定是两条互斥的、全职的、一次定终生的道路。学界确实比产业界规定了更多的最终期限，但按照我的经验（我本人曾做过大学教授），总得来说这不重要。

你们如何对研究方向或总体路线图确定优先顺序或做决策？

Jeff Dean：我们努力去发现那些具有重大、开放的研究问题的领域，在这些领域中解决问题将会导向建立明显更加智能的主体和系统。我们有一些登月级的研究领域，在这些领域之下我们研究项目又分属于一些好的主题。例如，其中一个登月级项目是研发能真正理解、总结和回答关于长文本（长文档，包含数百文档的文档集等）的问题的学习算法。当我们做这类工作时，不会去考虑任何具体的产品，尽管如果我们能做成它的话它显然在不同的情境中都会很有用。

其他研究则完全由好奇心驱动。因为我们每年都有许多令人振奋的年轻研究员来访——包括年度访问学者和实习生——我们常常会探索一些机器学习社区会感兴趣的研究方向。

最后，我们会与在机器学习方面遇到难题的产品团队协作进行一些研究。我们与我们的翻译、机器人和自动驾驶汽车团队都有正在进行的协作。过去，我们也曾与语音团队、搜索排序团队和一些其他团队以类似方式协作。这些协作通常涉及开放的、尚未解决的研究性问题，这些问题的解决将使相关产品获得新的能力。

George Dahl：只要我发现任何东西在科学上最有趣（以及我认为我能够做出贡献），我就会为其工作。我猜想谷歌大脑团队的许多研究者也是这么做的。

我想知道你们的文化、战略和愿景。能透露一下你们的年度预算吗？可以分享一下团队的KPI吗？谷歌开源文化对你们自身有什么帮助？

Vincent Vanhoucke：我一直都强调，在今天这种快速发展的环境中，你的IP（知识产权）并不取决于当下你拥有什么技术，而是更多地在于你的公司或团队技术进步的第一个衍生物——也就是，你进步得越快，你就能做得越好。开源像TensorFlow这样的东西，有助于提升技术更新代的速度，同时保证我们一直处于核心位置。

Jeff Dean：我们的使命确实非常宏大。从根本上来说，我们希望能做的研究应该是自己认为有助于我们建立智能机器、进而用这些智能来提升人类的生活的。此外，我们不会详细地透露预算。

说到KPI，我查了下字典才知道它是什么意思。我们真的没有任何形式的KPI，此外，我们也没有任何以收入为目的的目标。当然，我们都在努力做一些具有科学价值或者商业价值的研究，但是，只要是好的科学，有没有商业价值其实没那么重要（因为通常在当下是无法确定某一个研究的未来是否有商业价值的）。我们在努力做一些当下或未来对世界有用的工作。我们的研究，加上与谷歌内其他团队的努力，例如语音识别、 谷歌图片、Youtube 、谷歌搜索、GMail、Adwords、AlphaGo等项目，都对世界产生了实质性的影响。看看这些产品所产生的各种各样的价值，我们的工作在整个公司内也有着深远的影响。

我们非常坚定地相信开放，因为它给我们带来的利要远远大于弊。通过 TensorFlow，我们能够获得外部参与者的研究，进而一起把系统变得更好。同时，这也使得我们与谷歌外部的研究员合作变得更容易，因为我们能反复地分享代码（例如，实习生如果在实习期结束后想继续扩展研究，他们可以在TensorFlow上完成）。

通过公开我们的研究，我们从研究社区内获得了非常有价值的回馈，同时，我们也可以向世界展示我们在做一些非常有意思的工作，进而有助于我们吸引更多希望做类似工作的人才。需要坦白的是，有一些研究工作我们也没必要把所有的细节都公开，比如关于搜索引擎系统和广告系统中与机器学习相关的工作。

Google Brain、DeepMind 和谷歌量子AI实验室团队三者之间的区别是什么？

Jeff Dean：我们 Google Brain 与量子AI实验室不怎么合作，他们的工作与我们的研究有很大的不同。DeepMind 与我们有共同的研究愿景，都想要制造具有智能的机器，我们关注彼此的工作进展，也在挺多项目上有合作。比如说，AlphaGo这个项目就是Google Brain与 DeepMind 一起开展的（当时 Chris Maddison 还是 Google Brain 的实习生），DeepMind 的人把它真正发扬光大，加入了很重要的通过自我对弈进行强化学习的方面。其他一些合作项目还包括《用模型加速进行持续强化Q学习》（Continuous Deep Q-Learning with Model-based Acceleration）等论文。

坦白说，伦敦和山景城的时差让合作比想象中的难一些。因此，Google Brain的人常常去 DeepMind，DeepMind 的人也经常来Google Brain。DeepMind 前不久从 Torch 转换成 TensorFlow，为了顺利完成过渡，我们这边有挺多人专门为此去 DeepMind 待了好几个星期。Google Brain 和 DeepMind 都在用机器学习进行医疗相关的项目，我们会定期召开会议，商讨接下来路线图的具体步骤。

总之，Google Brain 和量子AI实验室之间没什么合作，谷歌和DeepMind 之间不同形式的合作有挺多。

Vincent Vanhoucke：我的团队与DeepMind之间有几项合作，我们在专业知识方面互相弥补对方的不足。我个人帮量子AI实验室做过招聘，也关注他们的研究，但具体项目上的合作还没有过。

Oriol Vinyals：我之间在Google Brain，现在在 DeepMind，我认为两个团队间的合作很自然就发生在个人层面上（每周我都跟 Google Brain 的人开会）。横跨大西洋进行一个大项目不容易，但不久的将来我相信就会有合作展开：）

任人不拘，成员背景多样

有人曾说，谷歌和其他公司从某种程度上正通过高价 offer 从学术圈“偷人”。你们怎么看待这种说法？

George Dahl：为聪明的人提供高价Offer，这远远称不上是“偷”，并且，行业内高薪资也不新鲜。

幸好，在许多人都想去工业圈工作的同时，现在还有一些伟大的研究者，比如Raquel，是希望留在学术圈的。但是，学术圈的招聘要求更高，毕竟新增终身教职的名额也很难。另外，在比较火热的领域，比如机器学习所在的学院，需要覆盖所有的计算机科学子领域，而这些部门没有足够的经费在一个领域拥有那么多人。

也就是说，对于培养新的研究者，我们非常谨慎。部门的许多实习生（或许有一天是我们的工作人员）最终都走向了学术圈。我们也希望能与学院达成合作，希望有更多的访问学者来跟我们一起工作，随后他们可以返回自己在高校的工作岗位。我们还花了很多钱来支持学术团体。对于高校来说，新的毕业生在毕业时有很多好的工作可选，这是一件很棒的事。

我很好奇团队中谁的背景跟大家不一样，比如研究社会学但统计学很厉害，或者从其他专业转到STEM？

Fernanda Viegas：我是学图像设计和艺术史的，我从来没有想过我会在高科技企业工作，更别说专门做机器学习了。从传统图像设计专业毕业后，我决定在MIT 媒体实验室读博硕士和博士，我在那里学会了编程，开始做数据可视化。我的工作就是让用户能更好地理解复杂的信息，现在也就是让初学者的专家能更好地与机器学习系统互动，从而理解这些系统。

Chris Olah：我没有大学文凭，我想这应该让我显得不一样。要说我是怎么加入谷歌大脑的——

• 高中的时候我学了很多数学、编了很多程序
• 在多伦多大学学了一年数学，期间有个朋友因为兴趣玩起了炸弹，所以有挺多时间我都拿去为他出庭作证，后来我干脆休学，专门为他作证，顺便研究3D打印；
• 我朋友被证实无罪，我的3D打印让我获得奖学金；
• 我通过Michael Nielsen接触到了机器学习；
• 发现 Yoshua Bengio 在招研究生，于是联系 Bengio，他帮了我很多；
• 在谷歌发表演讲，Hinton 给我一个在谷歌大脑实习的工作。两年后，我成了这里的全职研究员。这是最适合我的工作：）

Martin Wattenberg：虽然我是学数学的，但我毕业后头 6 年都在做记者。这段经历让我深感解释说明的重要性，对我现在的工作也有很大启示。机器学习系统不应该是“黑箱”：我们对它们的了解越多，就越能够有效地改善它们（这里说的“我们”指每个人，不仅仅包括计算机科学家和开发人员，也包括普通的人）。

Doug Eck：我本科学英语文学，侧重创造性写作。我估计是 Google Brain 团队中唯一有英语文学学位的人。同时，我也自学了几年数据库编程。我还玩一点音乐。后来我回学校读博，拿了音乐方面的计算机科学博士学位。然后我从事学术研究（博士后用LSTM做音乐生成；蒙特利尔大学做教员）。6年前作为研究员加入谷歌。我至今仍认为学文科的本科经历对我现在的工作有很大帮助作用。

Dan Mané：学计算机科学之前，我对金融经济很感兴趣。因此，我上大学学的是经济学专业，毕业后实习也是在金融岗位实习。但是，经济学课程上起来枯燥无味，翻来覆去都是那几句，我在金融行业的经历也让我觉得自己该在其他地方工作。所以，我转专业转到了哲学，然后事情变得有趣多了。大学上到一半，我第一次学了计算机科学，超级有趣，但那个时候转专业已经来不及了，所以我说服老师，让我在计算机科学的学分也能抵数，作为哲学在人工智能方面的实践。之后，我做了好几份软件工程的工作，最后在英国在TensorFlow。我到 Google Brain 的经历说起来很巧合，当时他们需要人做 TensorBoard，我之前的一份工作不知怎么的做了很多数据可视化的工作。所以，我虽然没有深厚的背景，但是我有幸加入这个厉害的团队，有了完美的同事和这份完美的工作：）

谷歌大脑如何学习深度学习

你们如何跟进深度学习方面的海量研究？

Jeff Dean：不同的人有不同处理方式。为了促进知识在谷歌大脑团队内的传播，我们每周都有论文阅读小组，在小组中人们会总结和展示一些重要的论文。我们还有一个内部邮件列表，人们会在邮件列表中提供自己认为有趣的论文链接，有时是论文摘要。

当有人引用了你的论文时，Google Scholar 将会提醒你。如果你已经就某个话题发表过论文，这有时会帮到你。我喜欢 Hacker News 讨论中 semaphoreP 的这段评论：“我每天早晨都会手动检查我所在领域的 arxiv。这像我浏览 Reddit一样已经形成了习惯，尽管 arxiv 上没这么多可爱动物图片。”

Vijay Vasudevan：我会监控 reddit /r/MachineLearning 主题下的信息更新。

Maithra Raghu：我在读博和为谷歌工作期间都发现十分有用的一个办法是，一方面专注于一两个研究领域（这意味着精读这些领域的论文），另一方面浏览大量论文的摘要，从而对领域中发生的事具有一般的了解。后者需要过一些时间才会展现效果，但经过几个月后，即使是在阅读你不熟悉的领域的摘要时，你也会对研究的意义有所感觉。

George Dahl：Arxiv 群发邮件，Google Scholar 提醒，以及朋友和同事的消息和电邮。

doomie：Google Scholar 提醒功能很有用！实际上，Reddit 的这个版面也是个不错的信息源，此外还可以关注推特和 Facebook 上的重要人物 （Hugo Larochelle 的消息推送就特别棒。）这些再加上阅读小组和内部邮件列表，会让一个人有足够多的论文可读。

你是什么时候开始学习ML，你的第一个与ML有关的项目是什么？

Jeff Dean：在明尼苏达大学，我需要写一篇论文才能毕业，所以我与导师Vipin Kumar合作，我们在学院一台拥有64个处理器的立体机上并行训练神经网络。由于当时神经网络是在计算上的消耗是非常大的，所以并行训练对于想要把这一方法运用到更加实际的问题上的我来说，这是一个非常吸引人的想法。以论文为借口，在为相对中等模型的难题训练模型时，我能够获得比较吸引人的训练速度。神经网络计算模型有很多抽象的层，每一个都是基于另一个之上，当时它们对我们有着强大的吸引力。后来，我进入了研究生学院，我的意图就是学习并行计算，但是最后我又被为高级的物体指向型语言编写编译语言所吸引，并在这一领域完成了我的博士毕业论文。但是，对神经网络的兴趣从未真正消退。在大概5年前，似乎这一领域又值得重新探索一番了，现在，计算能力和目标的数据库都在飞速进步。这也是谷歌大脑得以诞生的原因（最初由我、吴恩达和Greg Corrado发起）。

Greg Corrado：实际的与潜在的认知难题确实很难比较：在我的一生中，手持计算器在除法上的运算几乎大部分时间内都会比我快、比我准确。但这是否就意味着，计算机在算术上更加“智能”？我的看法是，我对除法的理解和计算器所运行的函数是一个非常天然的互补，二者之间是无法比较的。

对于“智能”还是“复杂性”或计算性能的问题，我们能做公平比较的能力也只是稍微好一点。一个比较常见的争论是，单个生物神经元的计算机能力要有多强大，才能转化到计算机编程单元中，比如FLOPS，专家会通过几个不同维度来进行测量。

所以，现在有人说，拥有相同的32比特浮点权重的人工神经元网络，这些神经元网络与一些特定的生物大脑的突触连接很像，可以拥有人类大脑的计算能力。作为一名神经科学家，我必须要站出来反对这些说法。

如何加入谷歌大脑

Google Brain 团队将会在未来几年如何发展？ 你们现在招人吗？ Jeff Dean：要考虑未来几年的发展就必须思考过去几年团队发生的变化。我们 Google Brain

• 在机器学习的许多领域开展研究，包括机器学习算法、新模型、感知、语音、自然语言理解、机器人、AI安全等诸多领域。而且还在多个平台公布我们的研究，如NIPS、ICML、ICLR、CVPR和ICASSP；
• 设计、建造并开源了TensorFlow，与越来越多的研究者和开发者一起继续完善该系统；
• 启动了一个机器学习研究的培训项目，希望它能在未来几年茁壮成长，该项目旨在培训下一代机器学习研究人员；
• 与在谷歌云的同事合作，将TensorFlow作为谷歌云机器学习平台的基础。因此，我们的研究工作会接触到数十亿人（包括RankBrain、Smart Reply、谷歌图片、谷歌语音识别、Google Cloud Vision等工作）；
• 在机器人研究项目中开始使用机器学习
• 努力将机器学习用于医疗领域

在接下来的几年中，我希望我们继续发展和扩大我们的团队，以多种形式为世界做贡献：公布我们的研究、开源软件、解决机器学习研究的难题，以便我们能开发出更加智能、强大的系统。我们都在为之努力!