专访 | 英特尔AIPG数据科学主任 Yinyin Liu：英特尔更注重构建整体性端到端平台

机器之心原创

作者：邱陆陆

2016 年起，英特尔在人工智能领域接连的大手笔收购引起了业界广泛关注。从 Nervana 到 Movidius 和 Mobileye，这家半个世纪专注推动芯片性能按摩尔定律前进的老牌芯片制造商，逐渐将自己的战略重心转移到了数据科学和人工智能领域。英特尔对公司在人工智能领域的整体规划是什么？将会通过什么产品实现这一规划？

机器之心对英特尔全新成立的 AIPG（人工智能产品事业部）数据科学主任、首席工程师 Yinyin Liu 进行专访，讨论了成立 AIPG 的逻辑、针对深度学习开发的硬件和开源框架产品、以及作为一名工程师和数据科学家，她认为深度学习给相关研究领域带来了哪些变化。

机器之心：去年 8 月英特尔斥巨资收购 Nervana，今年 3 月宣布成立 AIPG（人工智能产品事业部），由原 Nervana CEO，Naveen Rao 担任部门 VP 并直接汇报给 CEO 科再奇。同时，科再奇也一再强调英特尔已经转型为一家「数据驱动」的公司。英特尔这一系列动作背后有怎样的逻辑呢？

Yinyin Liu：英特尔收购 Nervana，展现了英特尔一直致力于在 AI 领域做出技术贡献和保持领先地位的决心。Nervana 团队自从加入英特尔以来一直和其他业务部门有紧密的合作。

成立专门的人工智能产品事业部，是考虑到 AI 技术要面向各个行业，能够自己把 AI 技术投入使用的行业很少，大多数行业仍然与 AI 技术还有一定距离，需要英特尔提供完整解决方案将他们引入 AI 领域。因此，成立专门的部门可以让我们从 AI 的角度思考如何解决各行业问题、支持多样化的应用案例，最终把英特尔已有的 AI 产品和专门为深度学习设计的芯片整合到一个端到端的平台中。英特尔向业界提供 AI 解决方案的时候，除了提供各种产品，更注重提供一个整体性很好的端到端平台。业界的应用者得以从一个明确的入口获得英特尔在 AI 方面的所有技术。

英特尔提供的 AI 相关技术包括底层硬件和软件架构两部分。底层硬件上：计算能力方面有 Xeon Phi™（Intel® Xeon Phi™ 至强融核™处理器）、Intel FPGA、还有即将发布的专用于深度学习的芯片 Lake Crest；存储技术方面有 Optane™（傲腾™）；高速互联网络方面有 Omni-Path 等。在软件上，包含英特尔已有的各种数学库如 MKL（Math Kernel Library）以及英特尔对 TensorFlow 等各种机器学习框架的优化支持。工具和框架层面则有 Nervana Graph 和 Neon。

专为深度学习设计的硬件

机器之心：Lake Crest 现在的进度如何？

Yinyin Liu：我们计划今年年底产出第一代 Lake Crest 芯片，进行内部测试并开放给部分开发者测试。2018 年会提供更广泛的应用支持。

机器之心：你觉得 Lake Crest 这种 ASIC 相比于通用芯片有哪些优势？

Yinyin Liu：深度学习在推动 AI 行业进展中起到了至关重要的作用，因此，提供一种专门用于深度学习的设计来推动算法和数据科学研究工作，是一项有极大需求的任务。Lake Crest 芯片不同于 CPU 与其他的通用芯片，完全为深度学习而设计，很多设计来源于我们从事算法和数据科学研究中积累的经验。

机器之心：能具体谈一下 Lake Crest 的设计中针对深度学习所做的优化吗？

Yinyin Liu：在存储部分，众所周知芯片存储分为片上存储（On-chip memory）和片外存储（Off-chip memory），其中片上存储对于运算加速起到至关重要的作用，因此我们对于如何将片上存储合理和计算单元（computing unit）整合在一起进行了特殊设计，以更快访问数据并进行运算。

在计算单元部分，由于深度学习中，大多数运算是以矩阵/张量为单位进行的，因此芯片的计算单元部分也是基于张量的（tensor-based）。

在可扩展性方面，我们极其注重 AI 的可扩展性，因此每个芯片上有 12 个芯片间高速连接，以保证可以将单个芯片和许多其他芯片连接在一起，真正做到让计算分布在各芯片中，而不是通过一个中央单元来进行控制。

机器之心：您怎么看待将深度学习计算能力部署在云端这种形式呢？

Yinyin Liu：在未来，我们的芯片可以通过两种方式使用，一种是通过云：现在我们的云支持已有的硬件，将来的硬件如 Lake Crest 也会被部署到云端，供客户选择。另一种是通过一体机产品（appliance），我们接下来要发布的一代产品是一个一体机机柜（appliance box），其中包含了很多 Nervana 的软件和现有的硬件，例如 KNL 或 KNM（「Knights Landing」，第二代 Intel® Xeon Phi™ 处理器，「Knights Mill」，第三代 Intel® Xeon Phi™ 处理器）。在 Lake Crest 之后的下一代产品，Spring Crest，也会通过一体机的形态部署。

开源框架：高层、全栈、快速与稳定

机器之心：您所在的数据科学部门，在端到端平台中主要负责哪个层面的工作呢？

Yinyin Liu：我们的主要工作是数据科学研究和算法研究，经常接触的层面是我们的开源深度学习库 Neon 和 Nervana Graph。

机器之心：Neon 和 Nervana Graph 之间的关系是怎样的？

Yinyin Liu：Neon 是一个有面向数据科学家的用户入口和面向下层硬件接口的库，我们一直以来投入大量精力开发。新推出的 Nervana Graph 旨在为软件架构提供更连贯的支持。我们希望通过不断的改进，最终 Neon 主要提供上层接口，Nervana Graph 主要完成和底层的各式硬件连接的工作。

机器之心：Neon 相比于其他的开源深度学习框架，比如 TensorFlow、Caffe 和 Torch，最大的特点是什么？它能在哪些方面更好帮助研究者？

Yinyin Liu：我们的开发者接口比较高层，Neon 里有整个模型的实现，也有深度学习模型中的主要组成部分的 API。当你需要使用一个现有模型，比如 ResNet，就只需要把神经网络、相应的数据处理、优化器等组合在一起，工作量非常小。

我们的库是一个全栈的库，和各种可用于人工智能的硬件设备有很好的接口，将来 Nervana Graph 融入到 Neon 之后仍然如此。

由于在端到端的每一个层次上，我们都做了各种各样的优化（比如对存储分配做了全局规划），根据我们的经验，这使得同样模型在 Neon 上的运算比其他框架上的快很多。

在用户使用方面，它的软件层更贴近用户产品，稳定性和实时性都有保障。

机器之心：能举一个具体的 Neon 优化深度学习模型实现的例子吗？

Yinyin Liu：我们把多层神经网络的一些常用运算进行了融合。比如在研发 Neon 的过程中，我们发现，由于卷积（convolution）和分批正则化（batch normalization）经常一起出现，且两个步骤都需要进行相加操作（summation）和求方差操作（variance）。如果把正则化的相加和求方差放在卷积中，就节省了一次提取数据和一次计算的时间，模型运算速度就会大大提升。这也影响了数据究竟放在寄存器（register）中还是存储（memory）中的决策。因此我们在设计 Lake Crest 的时候也考虑了这一点，以确保它是最适合深度学习的芯片。

机器之心：AIPG 和英特尔的其他事业部有哪些交流合作呢？

Yinyin Liu：从 AIPG 的角度，我们希望有足够的远瞻性，关注深度学习在长期会如何发展。未来十年中，有哪些研究成果会对硬件架构和软件生态系统产生新需求、我们如何能将有影响力的算法和模型化为设计新一代硬件的指南，这都是我们的关注重点。因此，我们和 Intel Labs 有很紧密的合作。Intel Labs 有很多关于人工智能的高质量发表和想法，这都给 AIPG 提供了灵感与支持。比如说，通常人们认为人工智能适用的领域局限于图像处理、声音处理和语言处理，但是在很多前沿的研究中，研究者们会关注如何整合不同形态的数据，如通过学习图片来学习语言，通过学习声音来学习图片。AIPG 有专门的内部研究团队，把 Intel labs 所做的长期的研究项目和业界各种前沿研究合理地变为短期研究项目，再合理地整合到产品设计当中去。

以深度学习为起点，探索更多分支学科

机器之心：您对深度学习初学者有哪些建议呢？对数据科学初学者呢？

Yinyin Liu：很多人问我如何进入 AI 领域，我经常回答：你可以去 github 上下载 Neon。因为 Neon 的架构中提供了很多目前最好的模型。如果你把所有模型都顺一遍，会对深度学习有一个比较全面的了解。在研究现有模型的过程中，你可能会注意到计算机视觉和自然语言分析领域用到的深度学习要素会有很多交集，通过学习一个开源库的分布，你会对这种学科交叉有更好的体会。

对于想做数据科学家的初学者，在掌握了深度学习基本的软件架构之后，可以去参加一些比赛来增加工程经验，英特尔也主办了很多的此类比赛，比如在国内开放了天池这个医疗数据库做了早期肺癌诊断的比赛。

机器之心：从您的简历来看您有非常广泛的研究兴趣，从计算机视觉到自然语言处理都有涉猎，请问您如何平衡研究的广度和深度呢？

Yinyin Liu：我曾经做了一些计算机视觉方面的工作，现在的个人研究兴趣更多集中在自然语言分析方面。但是因为现在很多计算机视觉和自然语言分析的进步都是由深度学习来推动的，如果一个人学习了以深度学习为基础的计算机视觉，再去做自然语言分析的模型或者数据科学研究，你会发现虽然是不同的用例，但能够很快上手。这是由于这些不同领域的模型都是基于卷积神经网络、递归神经网络和各式高层拓扑这样的基本结构。深度学习，让研究者涉猎不同领域变得更容易。

深度学习做自然语言分析与传统方法还是大相径庭，很多方面并不如传统方法准确或精细，但是在各个深度学习领域的进步都能推动这一个特定的学科分支的进步，因此你会发现深度学习方法迭代非常快。可能今天的语言分析模型表现还不够好，但是通过使用计算机视觉领域的最新技巧，表现就会有很大提高。

机器之心：您对自然语言分析领域产生兴趣的契机是什么呢？是用户需求导向的吗？

Yinyin Liu：与其说是需求导向不如说是「挑战」导向。我们作为一个数据科学团队希望覆盖各类用例，当今计算机视觉方面的很多模型准确度已经非常高了，然而在语言处理方面还有比较大的提高空间。作为工程师很多时候看到技术挑战就自然而然想要研究一下。

机器之心：在最近的诸多研究中，有什么您觉得十分有趣、期待其未来发展的吗？

Yinyin Liu：在自然语言分析领域有一个很有意思的趋势是把增强学习和自然语言分析联系在一起。人是通过和特定环境反复互动来学习语言的，在学习过程中并没有很多的标签。所以在自然语言分析算法中融入增强学习是一个很有趣的方向。这又回到了深度学习的可扩展性问题，这二者能够进行融合正是因为共有的结构非常多。从看到一个新方向到尝试实现，路径并不长。

5 月 27 日专访当天，Yinyin Liu 在机器之心 GMIS 2017 峰会上发表主题为《演变中的人工智能：与模型俱进》的演讲，探讨了如何用同一种模型为不同行业提供解决方案，以及如何让各个行业的专家建议推动整个人工智能生态系统的发展。

以下是该演讲的视频记录及演讲文字实录链接：http://jiqizhixin.com/portal/article/index/id/2921