Jeff Dean亲笔撰文：盘点谷歌AI 2019

来源：Google AI

编辑：大明、SHAO

本文转自：新智元

【导读】谷歌AI年终大盘点终于来了。谷歌AI负责人Jeff Dean亲自执笔，回顾2019年谷歌AI的重大技术突破和应用。暖暖的人文关怀与炫酷的新技术突破完美结合，这份总结虽然来得晚了点，但干货满满。

Google的目标是致力于解决长期问题，重点是那些在日常生活中能极大帮助人们的问题。为了在2019年实现这一目标，Google Research基础研究的多个领域取得了进展，并将研究成果应用于医疗保健和机器人等新兴领域，开放了大量源代码，并继续与产品团队合作，构建对用户更有帮助的工具和服务。

在2020年到来之际，本文回顾和评估在过去一年中所做的研究工作，并展望在未来几年中要解决什么样的问题。这篇文章是对Google研究人员和工程师在2019年期间所做的一些工作的总结，包括AI道德伦理、AI社会效益、手机智能辅助、健康、量子计算、机器学习算法、自然语言理解、机器人技术等诸多方面的研究成果。

下面一起来看看这一年Google都在做些什么吧！Google每时每刻都在创造新技术，书写新未来。

AI应用的道德准则

AI应用的道德问题一直是饱受争议的话题，人类的歧视和偏见会通过数据渗透到机器学习的模型，也是很多社会学家关注的焦点。2018年，Google发布了一套AI原则，通过这个原则提供的框架可以评估Google对自家产品中机器学习等技术的研究和应用。

2019年6月，Google发布这个框架的更新版，介绍了这些原则在Google研究和产品开发工艺中的实践过程。Google的目标是将这些领域中目前已知的最佳技术应用到实际工作中，持续推动这些重要领域的技术开发。

AI造福社会：预测灾害，保护自然

机器学习在解决许多重要的社会问题方面具有巨大的潜力，2019年，Google一直在几个这样的领域中开展工作，并致力于使其他人能够运用其创造力和技能来解决此类问题。这些工作覆盖广泛，包括：使用机器学习、计算和更好的数据源来做出更准确的洪水预报，然后向受灾地区的数百万部手机提供的警报；与野生动植物保护组织合作，使用机器学习来帮助分析野生生物相机数据等。

AI预测洪水灾害

计算机科学和机器学习在其他科学领域的应用也是Google特别关注的领域，在多组织协作研究中发表不少论文。今年的一些亮点包括：

• 利用能追踪每个神经元的机器学习模型，实现了绘制整个飞行大脑结构的里程碑。
• 为偏微分方程（PDE）学习更好的模拟方法，
• 使用深度学习来预测分子的嗅觉特性。利用图神经网络（GNN）直接预测单个分子的气味描述符。

嵌入空间的2D快照，突出显示了一些示例气味。左：每种气味都聚集在自己的空间中。右：气味描述符的层次性质。阴影和轮廓区域使用嵌入核密度估计计算

AI辅助技术：为功能障碍人士打开新世界

看到丰富多彩的图像，聆听喜欢的歌曲，与亲人交谈…… 这些看似理所当然的能力却成为功能障碍人士感受这个世界的障碍。机器学习技术可以通过将这些信号（视觉，听觉，语音）转换成其他信号，使这些信号可以由具有可访问性的人们很好地管理，从而更好地访问周围的环境。

在上个月Youtube上名为《AI时代》的纪录片中，介绍了Google的一项技术。对于患有ALS（渐冻症）和其他情况下会产生口齿不清或非标准语音的人，google技术实现了个性化语音到文本的转录，继而模拟患者健康时候的声音与家人交流。

医疗健康领域：辅助诊断水平媲美人类专家

2018年末，谷歌健康团队、Deepmind Health和谷歌硬件部门专注于健康相关应用的团队合并成了谷歌健康。2019年，Google健康团队成果显著：

• 针对乳房X线照相术的深度学习模型可以帮助医生发现乳腺癌；
• 用于皮肤疾病鉴别诊断的深度学习模型可以提供比初级保健医师更准确的结果；
• 提前两天预测急性肾损伤（AKI）的发作
• 为病理学家构建了以人为中心的图像搜索工具，通过检查相似病例帮助他们做出更有效的诊断。

除了在人文关怀领域的研究成果外，Google也总结了在硬科技和学术领域的研究成果。

量子计算：200秒超算1万年的问题

在2019年，Google的量子计算团队首次展示了一种计算任务，该任务世界上最快的经典计算机上需要10000年，但在量子处理器上仅需200秒。Google将重点放在实现量子误差校正上，以保证运行更长时间的运行。同时让量子算法更易于表达，更易于控制硬件，并使用经典机器学习技术建立更可靠的量子处理器，为使实用量子计算在更广泛的问题上成为现实，迈出了早期的一步。

一般领域算法和理论

在一般领域的算法和理论，我们继续我们的研究，从算法的基础到应用，并且也做了工作图挖掘和市场的算法。Google在去年6月的一篇博客文章总结了在图学习算法方面的一些工作，提供了有关该工作的更多详细信息，同时介绍了在多个平台发表的多篇论文，展示了在这个领域的研究成果。

机器学习算法

Google在机器学习算法的不同领域进行了研究，主要的重点是了解神经网络中训练动力学的性质。Google研究人员提供了一组仔细的实验结果，这些结果表明缩放数据并行性的数量对于使模型收敛更快有效。

对于我们测试的所有工作负载，我们观察到批次大小与训练速度之间存在三种通用的关系：小批次大小的完美扩展（沿虚线），随着批次大小的增长（与虚线不同）最终收益递减，以及在最大批量（趋势平稳）时的最大数据并行度。在不同工作负载之间，方案之间的过渡点差异很大。

推进机器学习算法的重点主要是推进学习更好的表示形式，这些表示形式可以更好地推广到新的实例、问题或领域中。

AutoML：自动决策水平堪比人类专家

2019年，google继续AutoML的研究，在某些类型的机器学习元决策上，取得了比最优秀的人类机器学习专家更好的决策水平。

在探索权重不可知神经网络中，Google展示了如何无需任何训练步骤即可更新有趣的神经网络体系结构以更新评估模型的权重。这可以使体系结构搜索的计算效率更高。权重无关神经网络可以在各种不同的权重参数下执行任务。

自然语言理解：BERT开辟NLP新世界

在过去的几年中，自然语言理解、翻译、自然对话、语音识别和相关任务的模型取得了显著进步。2019年，Google通过结合各种方式或任务来提高技术水平，以训练更强大的模型，翻译质量显著提高。

左：具有大量训练数据的语言对通常具有较高的翻译质量。右图：多语言培训，其中我们针对所有语言对训练一个模型，而不是针对每个语言对训练一个单独的模型，这导致没有太多数据的语言对的BLEU得分（翻译质量的度量）得到了显着提高。

随着语言理解能力的提高，基于 seq2seq ，Transformer ，BERT ，Transformer-XL 和ALBERT 模型等基础研究的进展，Google已经在许多核心产品和功能（如 Google Translate ，Gmail的 Smart Compose 和Google搜索）中应用了这些模型 。今年， Google在核心搜索和排名算法中推出BERT，实现了过去五年来搜索质量的最大提升。

机器人技术：学习更快，无惧环境变化

机器学习在机器人控制中的应用，是机器人在复杂的现实环境中有效运行的重要工具。过去的一年中，Google在这一领域实现了诸多成果。利用强化学习，机器人能够更有效地在复杂环境中进行导航。机器人能够仅从图像中高效学习，从环境中的实验中学习“直观”的现实世界，而非通过预编程的模型来学习。训练强化学习算法既可以最大化期望的奖励，又可以最大化策略的熵，让机器人学得更快，对环境的变化也更加稳健。

同时，通过学习从自监督的反汇编中进行组装和泛化，机器人学会了对目标的拆解和组装。孩子们可以从拆解中学到东西，机器人也可以！

开发者和研究人员社区更加开放

开源不仅仅指代码，还包括开发者社区。2019年，Google推出了TensorFlow 2.0，让构建机器学习系统和应用程序比以往更加轻松。

全球1500多名研究人员能够通过TensorFlow Research Cloud免费访问CloudTPU。同时，Google在Coursera的发布的TensorFlow课程吸引了 10万学生。在TensorFlow的帮助下，一名大学生还发现了两个新行星，并建立了帮助其他人发现更多行星的方法。

新的数据集有助于社区探索和开发新技术。为了帮助研究社区找到有趣的数据集，Google能够搜索来自许多不同组织的各种开放数据集。

2019年，谷歌研究人员在机器学习顶级学术会议（如CVPR、ICML、ICLR、ACL、ICCV、NeurIPS等）上发表了数百篇论文，参加演讲等活动，获得大量奖项。

展望2020：面临的挑战

过去十年，机器学习和计算机科学领域取得了显著进步，我们现在已经让计算机会看、会听、会理解语言，同时也有了可以应用这些功能的复杂计算设备，可以更好地帮助我们完成日常生活中的许多任务。通过开发专用硬件，我们利用机器学习方法重新设计了计算平台，解决越来越大的问题。这场深度学习革命，将继续重塑我们对计算和计算机的观点和概念。

不过，现在仍然存在大量尚未解决的问题，比如：、

• 如何构建可处理数百万个任务，还能学习如何自动成功完成新任务的机器学习系统？
• 如何在人工智能研究的重要领域推进最新技术的应用，如何避免算法偏见，增加模型的可解释性和可理解性，改善隐私、确保安全？
• 如何应用计算和机器学习在重要的新科学领域取得进步？
• 如何确保机器学习和计算机科学研究领域所追求的思想和方向，是由一群构成多元化的研究人员提出和探索的？
• 如何更好地支持来自不同背景的新研究人员进入机器学习领域？

总体而言，对于Google来说，2019年是令人振奋的一年。在2020年，Google要准备好迎接更多的挑战！

参考链接：

https://ai.googleblog.com/2020/01/google-research-looking-back-at-2019.html