鲲云科技方舟：基于定制数据流的AI应用 | 职播间第 9 期

AI 科技评论按：深度学习已经在安防，金融，自动驾驶等领域得到了广泛的应用。市场上的方案大多是基于 GPU 或者精简指令集 RISC 架构，通过增加多个处理单元提升计算能力。

近日，在雷锋网 AI 研习社公开课上，鲲云科技 FAE 团队负责人方舟讲解基于数据流架构的 AI 方案和适配的工具链。公开课回放视频网址：

http://www.mooc.ai/open/course/588？=aitechtalkfangzhou

分享嘉宾：

方舟，鲲云科技 FAE 团队负责人，目前负责鲲云硬件平台、软件平台与编译器技术支持。他是帝国理工模拟与数字芯片设计硕士，爱尔兰 IRC 奖学金获得者。

分享主题：基于定制数据流的 AI 应用

分享提纲：

数据流定制架构与指令集架构的区别

数据流定制架构的原理和发展

开发快速应用数据流定制架构的方法

数据流定制架构的应用

雷锋网 AI 研习社将其分享内容整理如下：

今天的分享分为四个部分：

第一部分，讲一下数据流定制架构是什么以及它与指令集架构有什么区别。 第二部分，介绍数据流定制架构的原理和基本发展历史。 第三部分，介绍开发快速应用数据流定制架构的方法，鲲云科技如何通过工具链来解决终端用户在使用高性能定制化架构的同时，还能保持应用的简单化和普遍性。 第四部分，介绍数据流定制架构的应用和实际落地项目。

数据流定制架构与指令集架构的区别

首先，大家可以看一下下面这个简单的数学公式，它表示了神经网络在做卷积时的基本操作，那为什么我们需要一个定制化的架构以及它怎样实现高性能？

（关于定制 AI 数据流架构的讲解，请回看视频 00：02：10 处，http://www.mooc.ai/open/course/588？=aitechtalkfangzhou）

我们先来看一个经典的指令集架构：

（关于这个经典指令集架构的讲解，请回看视频 00：04：47 处，http://www.mooc.ai/open/course/588？=aitechtalkfangzhou）

我们再看一个指令集执行例子，这是一个典型的加法操作。

（关于这个指令集执行案例的讲解，请回看视频 00：07：20 处，http://www.mooc.ai/open/course/588？=aitechtalkfangzhou）

经典指令集的好处包括：

首先，现在大部分的 GPU、CPU 都是基于指令集的架构，应用层可以通过软件和编辑器去将语言最终转化为机器的语言，即二进制的码，以很高的效率去执行指令和操作，保证兼容性的优势。

其次，针对特定领域的专用架构，可以使用开发工具将应用下载到架构中，从而实现高效的计算。

相较于指令集，数据流的核心就是保证每个时钟周期进行有效计算，那就要保证有数据时时刻刻地流入计算单元，得到数据输出后，将最终数据存储到内存中，或进行到下一步流水线操作。

（关于这个指令集执行案例的讲解，请回看视频 00：10：20 处，http://www.mooc.ai/open/course/588？=aitechtalkfangzhou）

数据流定制架构的原理和发展

下面是一个典型的基于神经网络 SSD 的架构：

（关于该部分的讲解，请回看视频 00：11：00 处，http://www.mooc.ai/open/course/588？=aitechtalkfangzhou）

开发快速应用数据流定制架构的方法

数据流架构能实现性能的极大提升，同时需要解决在复杂计算架构下对于高计算效率保持，以及高定制架构对于不同深度学习算法的通用性支持。这是鲲云的一个基于数据流架构的 AI 解决方案，它的优势包括：

• 是一种输入到输出的数据流架构
• 最大化 AI 性能，全面使用架构下的计算单元
• 使用硬件流水线架构完成，数据与控制

（关于定制 AI 数据流架构的讲解，请回看视频 00：17：50 处，http://www.mooc.ai/open/course/588？=aitechtalkfangzhou）

快速实现神经网络检测，第一个是实现底层参数化：可配置通路。下图来自创始人在 1994 年发表的一篇论文，讲述了如何在定制化的架构里，采用不同的操作来执行通用人工智能算法。

（关于底层参数化的讲解，请回看视频 00：24：15 处，http://www.mooc.ai/open/course/588？=aitechtalkfangzhou）

第二个就是进行多层并行可拓展的优化。通过实现数据并行、Filter 并行、Channel 并行、Layer 并行以及加速器引擎并行的优化，来支撑高性能计算。

（关于多层并行可拓展的优化的讲解，请回看视频 00：27：00 处，http://www.mooc.ai/open/course/588？=aitechtalkfangzhou）

这是一个数据并行的例子：

基于特定的数据流架构，它可能不像指令集的通用性那么强，那就需要一个工具来将算法解构导入架构结构去完成神经网络计算的过程，下面就是我们基于 AI 所做的框架工具链——RainBuilder：

（关于 Rainbuilder 的具体介绍，请回看视频 00：31：55 处，http://www.mooc.ai/open/course/588？=aitechtalkfangzhou）

数据流定制架构的应用

目前我们公司整套数据流架构方案的应用方向主要包括四大领域：

• 机器人、无人机以及自动驾驶
• 摄像头
• 传感器
• 服务器

（关于产品应用方向的具体介绍，请回看视频 00：35：45 处，http://www.mooc.ai/open/course/588？=aitechtalkfangzhou）