谷歌大脑团队2017年成就回顾（下）

策划编辑｜Vincent

作者｜Jeff Dean（谷歌高级研究员）

编译 Erica Yi

编辑｜Emily

AI 前线导读：谷歌高级研究员 Jeff Dean 代表谷歌大脑团队的，对他们 2017 年的工作做了总结。这是其总结的下半部分。作为谷歌 AI 的一部分，谷歌大脑团队致力于通过研究和系统工程来提升人工智能现有的技术。在这篇文章的上半部分（点击即可阅读），我们分享了我们广泛研究的一部分工作，从设计新的机器学习的算法，到用于理解这些算法的相关技术，再到与社区共享的数据、软件和硬件。在这篇文章中，我们将会深入到我们在诸如医疗、机器人、创造、公平和包容这些特定领域所做的研究，以及分享更多关于我们团队的东西。

更多干货内容请关注微信公众号“AI 前线”，（ID：ai-front）

医疗保健

我们觉得机器学习在医疗保健应用上有很大的潜力。我们正在尝试解决很多不同的问题，包括帮助病理学家发现癌症，理解医疗上的对话以协助医生和病人，以及利用机器学习解决基因组学中的各种问题，并开源了一套基于深度学习的高精度基因差异调用系统。

（在淋巴结活体组织切片检查中，我们的算法能够正确识别肿瘤和良性巨噬细胞。）

继我们 2016 年 11 月发表在美国医学协会杂志（JAMA）上的论文，我们加深了对于糖尿病性视网膜病变（DR）和黄斑水肿早期发现的研究。在 2017 年，这个项目从研究项目阶段转到了实际的临床效果测验阶段。为了能使项目能顺利地通过相关的监督程序，我们与 Verily（一家属于 Alphabet 的生命科学公司）展开了合作。合作的内容也包括将这项技术结合到尼康的 Optos 眼科相机产品线中。另外，我们正在印度部署这个系统。因为该国有 127000 名眼科医生的空缺，接近一半的患者被诊断的时候，眼疾已经严重到导致了视力的丧失，那时已经太晚了。作为试点的一部分，我们推出了这个系统，帮助 Aravind Eye Hospitals 的分级人员，更好地诊断出糖尿病性眼疾。与合作单位一起，我们了解了影响糖尿病眼部护理的人为因素。通过患者和医疗保健人员的民族志研究，调查了眼部护理临床医生如何与搭载 AI 的系统互动的。

（第一名病人（上图）和 Iniya Paramasivam，一位训练有素的分级师，查看系统的输出（下图）。）

我们还与领先的医疗机构以及斯坦福大学、UCSF 和芝加哥大学在内的医疗中心的研究人员合作，展示说明了使用机器学习从未识别的医疗记录中预测医疗结果的有效性（即根据患者的当前状态 ，我们相信我们可以通过从数百万其他患者的经历中学到的东西来预测患者的未来，从而帮助医疗保健专业人员做出更好的决策）。我们对这个方向的应用感到非常兴奋，我们期待着在 2018 年能向大家提供更多的信息。

机器人

我们在机器人研究上的长期计划是设计出学习算法，让机器人可以在混乱真实的环境中运作，并且能够很快地学会新的技能，拥有学习的能力。区别于现有的只能在精心控制的环境中执行一些人为编写任务的机器人。我们研究的一个重点是实体机器人技术的研发，让它们能够使用自己的经验，并且和其他机器人一起建立新的技能和能力，汇集各自的经验以便于共同学习。我们也在探索如何将基于计算机的机器人任务模拟与实体机器人的经验结合起来，从而加快新任务的学习速度。虽然模拟器的物理效果与现实世界并不完全匹配，但是我们发现，对于机器人来说，模拟经验加上少量现实世界的经验得到的结果甚至比纯粹大量的现实世界的经验效果更好。

除了现实世界中的机器人体验和模拟机器人环境以外，我们还开发了机器人学习算法。该算法可以通过观察人类演示出来的目标行为来学习。我们相信这种模仿学习的方法是一种非常可行的方式。在没有明确地编程甚至明确地规定某项活动目标的时候，可以非常快速地向机器人传递新的能力。例如，下面是一段机器人先从不同角度观察人类执行任务时的行为，然后试图模仿这些行为，在仅 15 分钟的真实世界经验中学习如何正确倒出杯中东西的行为的视频。就好像我们跟自己三岁的孩子在一起，鼓励他们倒东西时尽量不要把东西洒出来。

（点击在 Youtube 上观看视频）

为了将在机器学习和机器人交叉领域的研究人员聚在一起，11 月份我们参与组织并主办了第一次新的机器人学习会议（Conference on Robot Learning，简写 CoRL）。更多的信息包含在这次活动的总结一文中，我们期待来年将在苏黎世举办的会议。

基础科学

我们也看好于机器学习在解决重要科学问题上的长期潜力。去年，我们用神经网络预测了量子化学领域中分子特性，在天文数据集中寻找新的系外行星，预测余震，并利用深度学习指导自动化的证明系统。

（信息通过神经网络预测有机分子的量子特性）

(寻找新的系外行星：当行星阻挡住一些恒星光线的时候，观察恒星的亮度)

创造力

我们对如何用机器学习作为人们进行创造性工作的工具也很有兴趣。今年，我们创造了一个 AI 钢琴二重奏巩工具，帮助 Youtube 上的音乐人 Andrew Huang 创作了新的音乐（参见（参见 Nat＆Friends 的幕后视频），并且展示了如何教机器画画。

（用 SketchRNN 模型画出来的花园，点击可看互动演示）

我们演示了如何在运行的浏览器中控制深度生成模型（deep generative model）来创造新的音乐。这个作品赢得了 NIPS 2017 年度最佳模拟奖，这也是继 Magenta 互动音乐即兴演奏收到 NIPS 2016 最佳模拟奖之后，Brain team 的 Magenta 项目的成员连续第二年赢得这一奖项。 在下面的 YouTube 视频中，您可以听到完整演示中 MusicVAE 变分自编码器模型从一个旋律到另一个旋律平滑过渡那部分。

(点击观看视频)

人和 AI 研究（PAIR）倡议

机器学习的进步为人机交互提供了全新的可能性。但同时，确保社会能够从我们的正在研发的技术中获得广泛的收益也是至关重要。我们认为这些机遇和挑战都是亟待解决的问题，谷歌中的众多人员一起合作创建了 People + AI Research（PAIR）倡议。

PAIR 的目标是研究和设计出人们与 AI 系统交互的最有效方法。我们启动了一个公共研讨会，将横跨计算机科学、设计甚至艺术等领域的诸多学者和实践者聚集在了一起。PAIR 的工作范围非常广泛，其中一些我们已经提到过：通过提高系统的可解释性来帮助研究人员更好地了解 ML 系统，以及用 deeplearn.js 扩展开发人员的社区。另一个我们以人为中心来发展 ML 工程的例子是 Facets 的推出，一种用于数据集可视化和帮助人理解数据集的工具。

（Facets 提供对训练数据集的深入分析。）

机器学习中的公平和包容

随着 ML 在技术上扮演着越来越重要的角色，对于其包容性和公平性的考虑也越来越重要。 Brain 团队和 PAIR 一直努力在这些方面取得进展。我们已经发表了关于如何通过因果推理来避免 ML 系统中的歧视，开放数据集中地理多样性的重要性的文章，并公布了对于一个开放数据集的分析，以期了解多样性和文化差异。我们也一直与 Partnership on AI 开展密切地合作，这是一个跨行业的倡议，旨在帮助确保公平和包容成为所有 ML 从业者的目标。

此处输入图片的描述（正如在左边的这些涂鸦图案中所观察到的那样，训练数据可能存在文化差异，即使是关于常见的物品如“椅子”。右侧的图表显示了我们是如何在标准的开源数据集（如 Imagenet）中，忽略了地理位置偏见。如果这种偏见未被发现或未被纠正，则可能会严重影响模型的行为。）

我们与谷歌创意实验室（Google Creative Lab）的同事合作制作了这个视频，从非技术性层面介绍了这个领域中的一些问题。

（点击观看视频）

我们的文化

我们集体研究文化的一部分就是赋能研究人员和工程师，让他们可以去解决那些他们认为最重要的基础研究问题。在九月份，我们发布了关于我们做研究的大体方案。教育和引导年轻的研究人员是我们正努力去做的东西。去年，我们团队接收了 100 多名实习生。在 2017 年，我们发表的研究论文中，有实习生作为联合作者的约占了 25％。在 2016 年，我们成立了 Google Brain Residency 项目，一个专门指导想要学习如何做机器学习研究的年轻人的项目。在第一年里（2016 年 6 月到 2017 年 5 月），有 27 名该项目的实习生加入了我们的团队。在第一年项目的中期，我们发布了相关进展，并且紧接着项目结束，我们也突出强调了这些实习生所取得的成就。很多第一年的项目实习生都留在了我们的团队，作为全职研究人员和研究工程师。而没留下来的大部分人都去像柏克莱，CMU，斯坦福大学，纽约大学和多伦多等顶级机器学习研究生课程中攻读博士。在 2017 年 7 月，我们也迎来了第二批总计 35 名实习生，而他们将会在这个团队中直到 2018 年 7 月。截止到目前为止，他们已经做出了很多令人兴奋的研究，并且在很多的期刊上发表过了文章。现在，我们已经将项目扩展到了谷歌内很多其他的研究组，并且重新将这个项目命名为 Google AI Residency program（今年的申请截止日期刚刚过去，可以在 g.co/airesidency/apply 上查看来年的项目）。

我们在 2017 年的工作远不止在这两部分组成的文章中提到的那些。我们确信我们能在顶级研究期刊杂志上发表我们的研究成果。去年，我们的小组发表了 140 篇论文，其中 ICLR，ICML 和 NIPS 有 60 多篇。在我们研究论文中可了解到更多关于我们的工作。

您也可以在这个视频中看到我们团队中的一些成员，或者阅读我们在 r/MachineLearning 上对于第二个 Ask Me Anything（AMA）帖子的回复（并查看 2016 年的 AMA）。

谢谢阅读！

https://research.googleblog.com/2018/01/the-google-brain-team-looking-back-on_12.html