TensorFlow可以做什么？让Google Brain首席工程师告诉你

编辑 | 明明

1月19日，在极客公园创新者大会IF2018的现场，Google Brain首席工程师陈智峰发表题为：《找答案从定义问题开始 ——TensorFlow 可以用来做什么？》的演讲，分享了Google Brain最近一年到两年时间里面的研究方向，以及在TensorFlow方面的一些工作、成果、进展。以下为演讲实录：

深度学习

深度学习这几年非常流行，在Google的搜索流量里面，深度学习在过去的7-8年时间里，增长了大概100倍，从这个侧面也反映出学界和工业界对这个技术的关注程度，是在迅速的提高。

大家都想知道，深度学习是什么？它能够为我们做什么？如何把这个技术应用到实际场景当中去？

深度学习并不是一个突然出现的技术领域，它的核心算法就是神经网络。神经网络是一种机器学习的模型，这个模型主要特点就是，它可以拟合任何数学上的函数，特别是利用大数据反复迭代的一种类似方法来训练好这个模型。

随着大数据的普及，计算机硬件算力的发展，还有算法本身的突破，大家突然发现，这个以神经网络模型为核心的深度学习技术，在很多应用领域都可以大大提高过去软件系统需要完成的任务。

最经典的应用领域大家肯定很熟悉，就是图像识别。自2012年以来，在这个领域，自动图像识别的错误率从20%一直持续下降到4%左右，已经超过了一个普通人分辨图像的能力。

Google在很多年前就已经开始把深度学习的技术应用到很多产品当中，在这个过程当中，我们也迭代、开发了好几代支持深度学习的软件系统，最终导致我们在2015年10月开源了TensorFlow，希望能够进一步推动深度学习的应用和研究。

TensorFlow

TensorFlow现在已经演化成一个相当完整的深度学习软件开放平台。

支持多种硬件的平台

比如说，它支持CPU、GPU混合搭建的数据中心的训练平台，它也支持将数据中心训练好的模型，相对便捷地部署到不同的移动端应用上，可以支持类似Google自主研发的TPU处理器。

这种多平台的支持，可以帮助到最多的用户和应用场景，我们同时也非常感谢很多业界的同行对我们的支持，比如说在美国Intel和英伟达都在帮助我们优化TensorFlow在他们各自硬件上的性能。

支持多种开发环境

支持多种硬件的平台是基础，TensorFlow一直以来的一个目标，就是能够帮助尽量多的开发者，能够把深度学习的技术利用起来，最终使得广大的用户从中能力得到益处，基于这个想法，TensorFlow一直很重视多种程序员开发环境的支持。比如说，开发者可以在主要的开发环境中使用TensorFlow。

TensorFlow在我们公司内部的应用推广是非常全面和彻底的，比如说TensorFlow很早就帮助Google的核心业务（搜索和广告），实施了深度学习的模型，并且在核心业务上体现了他们的性能。

在垃圾邮件过滤中，我们也使用了TensorFlow训练的模型，同时在安卓的应用程序推荐上，也上线了TensorFlow的模型等等。很多TensorFlow应用都是发生后台，大多数用户可能没有直接的体验。

深入移动端

我举几个在移动端的例子来说明，深度学习其实已经直接影响了成千上万的用户。

• 安卓手机自拍功能

比如说，安卓手机最近的版本当中增加了一个自拍功能，这个自拍功能就是通过应用深度学习训练出来的视觉模型，可以非常准确地分离前景像素和后景像素，对前景像素和后景像素分别处理，这样就可以实现背景虚化。

实现这种功能，传统上手机厂商需要增加第二个摄像头，这就会增加手机的成本，同时现有的手机就不太容易获得这样的效果，通过新的算法，我们可以实现一些过去可能非常昂贵才能实现的效果。

• 智能音箱

和图像处理一样，语音处理是另一个被深度学习深刻改变的领域，语音识别要比图像处理更早地采用神经网络。

产品方面，这些年智能音箱语音主力大行其道，其中一个很大的原因就是深度学习算法把语音识别和语音生成的技术门槛大大地降低了，过去可能需要20—50个博士的团队才能完成的任务，现在下载一个现有模型定制一下，就可以达到同样的效果。通用的机器学习框架，可以帮助到更多的开发人员，开发出适合特定应用场景的语音应用。

• 机器翻译

另外一个例子，现在你可以用手机拍一张照片，手机软件可以自动的识别出图形中的文字，把文字翻译成另外一种语言，看似简单的应用，其实是图像技术和机器翻译技术很自然的结合。

一年多前，我有幸参与了谷歌内部，把过去的翻译系统升级为以神经网络为基础的系统的项目，那次升级极大地降低了机器翻译的错误率。其中一些语言之间的翻译，几乎可以达到人工翻译的效果

• 邮件自动回复功能

利用深度学习技术，我们不仅可以大幅度的提高已有产品的功能和性能，我们还开发了一些过去很难想象的新功能，比如说邮件自动回复的功能，安卓上的邮箱软件可以分析用户的邮件。

比如说你今天早上收到一份你朋友发的邮件，“晚上是不是要到哪里吃饭”，大多数情况只有三种可能的回答：我会准时到；对不起我没有空不能来；我有空，但是我可能需要晚一点到。

我们现在邮箱会自动地给你提供三个选择，这样的话在路上看到邮箱，只要一键就可以完成邮件回复，极大方便了用户在手机上处理邮件的效率。

TensorFlow其他领域的应用

通过前面的很多应用例子，我们可以看到，一个通用的深度学习框架，可以帮助现有很多互联网上的应用提高智能水平，但是我们也可以看到，TensorFlow这样深度学习的框架，在其他许多领域也可以得到应用。

• AlphaGo

比如说我们在伦敦的同事，过去两年努力推进AlphaGo的工作，这就得益于TensorFlow框架本身的帮助，因为TensorFlow可以利用超大计算机集群，支持最新的加速器，AlphaGo团队可以更加专注于算法的研究。

• 智能医疗

我们组也有人在做智能医疗工作方面。由于TensorFlow是一个通用的框架，他们可以很方便地重用现在已有的图像识别模型或者是自然语言处理的模型，针对特定的应用领域和数据，重新训练微调一下模型，就可以在检测视网膜病变任务上面获得超过95%的准确率，这个准确率已经超过了普通眼科专家91%的水平。

• 自动驾驶

在自动驾驶方面，我们在Alpha Waymo的同事，也在利用TensorFlow不断改进自动驾驶系统当中的深度模型，包括对路况场景的分割、雷达信号的处理等等。

• 婴儿食品制作

我们特别欣慰的是，通过把TensorFlow开源，我们利用深度学习技术的门槛大大降低了。过去两年我们看到很多和互联网毫无相关的行业，也开始尝试利用深度学习的技术和方法，比如说这家公司是一个婴儿食品制作的公司，引进了TensorFlow训练好的智能系统，这个智能系统可以把婴儿食品的原料进行分类，把一些烂掉的苹果和香蕉更准确地排除出去，这样可以准确地控制婴儿食品的质量。

• 科学研究——太空

我们也很兴奋地看到，TensorFlow在计算机科学以外的科学研究上也得到了使用，比如说上个月美国航天总署宣布一项研究成果，美国航天总署有个开普勒计划，他们的科学家和我们的同事联合开发了一个TensorFlow的模型。

开普勒计划本身的目标是通过望远镜持续不断地观察太空中恒星亮度的变化，发现太阳系以外的行星系统，最终希望发现另外一个适宜人类居住的行星。目前该计划已经积累了上百亿个观察数据，几个月前这个TensorFlow的模型，帮助科学家发现了2500光年以外的开普勒90星系中的第八颗行星。

• 科学研究——海洋

人们不仅仰望星空，同时我们在回望我们的地球，在这个应用的例子里面，澳大利亚的科学家用TensorFlow开发的图像识别模型，在数万张海洋航拍图照片中，快速并且准确地找到需要保护的大型海洋哺乳类动物，比如说珍惜动物海牛。

• 科学研究——丛林

也有科学家利用TensorFlow把语音处理技术用到了鸟类保护上。他们在丛林里安装了很多话筒，采集鸟类的声音，模型就可以很准确地估算出鸟类在一片森林中的数量，从而更加精准地对他们实行保护。

• 创造音乐

我们组还有同事进行了一些非常有意思的应用，他们正在尝试利用深度学习的技术来创造音乐，很有意思的是，这些音乐创作的乐曲，还受到了专业DJ的肯定。

加大对中国市场支持

自2015年开源以来，我们一直在努力加大对TensorFlow的投入，最近我们开始加大对中国市场的支持力度，比如说我们正在建立一个TensorFlow的中文网站，TensorFlow的开发者也实现了快速的增长，同时，我们也看到超过1000多人参与了TensorFlow的开发，这是一个非常活跃的社区。

另外，我们的数据也显示，到目前全球180多个国家，各种用户已经下载了超过1000万次的TensorFlow开发包，这表明TensorFlow的应用开发也是非常普遍的。

前面的图也告诉大家，在中国有大量的开发人员在持续的关注TensorFlow，事实上，我们正在和众多的中国公司建立伙伴关系，积极的支持和帮助他们更好的使用TensorFlow。

比如说京东内部搭建了TensorFlow了训练平台，用于开发图像、自然语言相关的模型，并且把他们用到客服广告等领域。小米也在尝试类似的技术路线，支持他们生态线上各种特殊的应用。网易的有道笔记、网易翻译君也使用了TensorFlow视觉和语言的模型。

• Eager模式

非常感谢我们的用户和合作伙伴对TensorFlow的反馈，TensorFlow也正在努力开发新的功能，在去年我们开发了一个TensorFlow模式，这个模式能够更加有利于前端的开发，便于调试，支持更多动态的编程模式。

在这里有一个很简短的程序，在这个程序中，大家应该能够看出这个模式最主要的特征就是在前端的程序流程中，可以更加直接地反映程序算法逻辑本身的流程，这一点我们相信会特别有助于快速原形的开发和调试。

• Lite模式

另外，TensorFlow在过去一年中主要推进的项目是TensorFlow Lite模式，这个模式是专门针对移动和嵌入式应用场景打造的机器学习平台，它的目标是希望把在云端训练的机器学习模型，更加简单、高效的迁移到移动端上进行部署。

最后，我们也在开发新一代深度学习硬件加速器TPU，去年我们宣布了第二代处理器，这个处理器可以达到180万亿次浮点运算的性能，有64千兆的内存，如果我们把这样的处理器集成在一起，搭建一个集群，根据我们的估算，这个集群的可以非常容易排到世界上超级计算机的前五名。

• 第二代TPU

目前我们正在内部各种产品研发中使用第二代TPU，并且计划在不久的将来开放给公众使用。