专栏首页AI科技评论鲲云科技方舟:基于定制数据流的AI应用 | 职播间第 9 期

鲲云科技方舟:基于定制数据流的AI应用 | 职播间第 9 期

AI 科技评论按:深度学习已经在安防,金融,自动驾驶等领域得到了广泛的应用。市场上的方案大多是基于 GPU 或者精简指令集 RISC 架构,通过增加多个处理单元提升计算能力。

近日,在雷锋网 AI 研习社公开课上,鲲云科技 FAE 团队负责人方舟讲解基于数据流架构的 AI 方案和适配的工具链。公开课回放视频网址:

http://www.mooc.ai/open/course/588?=aitechtalkfangzhou

分享嘉宾:

方舟,鲲云科技 FAE 团队负责人,目前负责鲲云硬件平台、软件平台与编译器技术支持。他是帝国理工模拟与数字芯片设计硕士,爱尔兰 IRC 奖学金获得者。

分享主题:基于定制数据流的 AI 应用

分享提纲:

数据流定制架构与指令集架构的区别

数据流定制架构的原理和发展

开发快速应用数据流定制架构的方法

数据流定制架构的应用

雷锋网 AI 研习社将其分享内容整理如下:

今天的分享分为四个部分:

第一部分,讲一下数据流定制架构是什么以及它与指令集架构有什么区别。 第二部分,介绍数据流定制架构的原理和基本发展历史。 第三部分,介绍开发快速应用数据流定制架构的方法,鲲云科技如何通过工具链来解决终端用户在使用高性能定制化架构的同时,还能保持应用的简单化和普遍性。 第四部分,介绍数据流定制架构的应用和实际落地项目。

数据流定制架构与指令集架构的区别

首先,大家可以看一下下面这个简单的数学公式,它表示了神经网络在做卷积时的基本操作,那为什么我们需要一个定制化的架构以及它怎样实现高性能?

(关于定制 AI 数据流架构的讲解,请回看视频 00:02:10 处,http://www.mooc.ai/open/course/588?=aitechtalkfangzhou)

我们先来看一个经典的指令集架构:

(关于这个经典指令集架构的讲解,请回看视频 00:04:47 处,http://www.mooc.ai/open/course/588?=aitechtalkfangzhou)

我们再看一个指令集执行例子,这是一个典型的加法操作。

(关于这个指令集执行案例的讲解,请回看视频 00:07:20 处,http://www.mooc.ai/open/course/588?=aitechtalkfangzhou)

经典指令集的好处包括:

首先,现在大部分的 GPU、CPU 都是基于指令集的架构,应用层可以通过软件和编辑器去将语言最终转化为机器的语言,即二进制的码,以很高的效率去执行指令和操作,保证兼容性的优势。

其次,针对特定领域的专用架构,可以使用开发工具将应用下载到架构中,从而实现高效的计算。

相较于指令集,数据流的核心就是保证每个时钟周期进行有效计算,那就要保证有数据时时刻刻地流入计算单元,得到数据输出后,将最终数据存储到内存中,或进行到下一步流水线操作。

(关于这个指令集执行案例的讲解,请回看视频 00:10:20 处,http://www.mooc.ai/open/course/588?=aitechtalkfangzhou)

数据流定制架构的原理和发展

下面是一个典型的基于神经网络 SSD 的架构:

(关于该部分的讲解,请回看视频 00:11:00 处,http://www.mooc.ai/open/course/588?=aitechtalkfangzhou)

开发快速应用数据流定制架构的方法

数据流架构能实现性能的极大提升,同时需要解决在复杂计算架构下对于高计算效率保持,以及高定制架构对于不同深度学习算法的通用性支持。这是鲲云的一个基于数据流架构的 AI 解决方案,它的优势包括:

  • 是一种输入到输出的数据流架构
  • 最大化 AI 性能,全面使用架构下的计算单元
  • 使用硬件流水线架构完成,数据与控制

(关于定制 AI 数据流架构的讲解,请回看视频 00:17:50 处,http://www.mooc.ai/open/course/588?=aitechtalkfangzhou)

快速实现神经网络检测,第一个是实现底层参数化:可配置通路。下图来自创始人在 1994 年发表的一篇论文,讲述了如何在定制化的架构里,采用不同的操作来执行通用人工智能算法。

(关于底层参数化的讲解,请回看视频 00:24:15 处,http://www.mooc.ai/open/course/588?=aitechtalkfangzhou)

第二个就是进行多层并行可拓展的优化。通过实现数据并行、Filter 并行、Channel 并行、Layer 并行以及加速器引擎并行的优化,来支撑高性能计算。

(关于多层并行可拓展的优化的讲解,请回看视频 00:27:00 处,http://www.mooc.ai/open/course/588?=aitechtalkfangzhou)

这是一个数据并行的例子:

基于特定的数据流架构,它可能不像指令集的通用性那么强,那就需要一个工具来将算法解构导入架构结构去完成神经网络计算的过程,下面就是我们基于 AI 所做的框架工具链——RainBuilder:

(关于 Rainbuilder 的具体介绍,请回看视频 00:31:55 处,http://www.mooc.ai/open/course/588?=aitechtalkfangzhou)

数据流定制架构的应用

目前我们公司整套数据流架构方案的应用方向主要包括四大领域:

  • 机器人、无人机以及自动驾驶
  • 摄像头
  • 传感器
  • 服务器

(关于产品应用方向的具体介绍,请回看视频 00:35:45 处,http://www.mooc.ai/open/course/588?=aitechtalkfangzhou)

本文分享自微信公众号 - AI科技评论(aitechtalk)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-12-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 职播间 | 基于定制数据流的AI应用

    深度学习已经在安防,金融,自动驾驶等领域得到了广泛的应用。市场上的方案大多是基于GPU或者精简指令集RISC架构,通过增加多个处理单元提升计算能力。本次介绍会讲...

    AI科技评论
  • 神经架构搜索(NAS)越来越高效,但远远不够!

    过去数年间,研究者和企业都试图通过提供可获得的预训练计算机视觉或机器翻译模型,来让更多非专业人士用上深度学习方法。将预训练模型用到另一项任务上的方法,就是我们所...

    AI科技评论
  • 观点 | Yoshua Bengio 经验分享:如何做好学术研究?如何管好实验室?

    AI 科技评论按:深度学习三驾马车、四大金刚中,相比于 Yann LeCun 经常以(曾任) Facebook 人工智能研究院 FAIR 负责人以及 Faceb...

    AI科技评论
  • 张升:农业银行的分布式架构应用实践与展望

    近年来,以阿里为代表的互联网企业提出的“去IOE”,在业界引起了广泛的讨论。“去IOE”直接含义是不使用传统IT巨头的产品,这些厂商产品虽然好,但基本处于市场垄...

    CSDN技术头条
  • Greenplum集群或者Postgresql出现死锁肿么办?

      由于Postgresql和Greenplum集群这数据库知识很深的,没有仔细研究,遇到问题真的不知道肿么处理,我遇到死锁,是采取了暴力手段,直接杀锁了。

    别先生
  • 分布式架构在农业银行的应用实践与展望

    一般可以将架构分为两类,一类是以垂直扩展(Scale up)为主的架构,如通过增加单机配置,或者将中低端设备升级成为高端设备,用以提升系统的处理能力,称之为集中...

    数据和云
  • 最详细的 Android Toolbar 开发实践总结

    Toolbar是在 Android 5.0 开始推出的一个 Material Design 风格的导航控件 ,Google 非常推荐大家使用 Toolbar 来...

    哲洛不闹
  • 电商网站架构探索|SOA分布式架构详解

    目前很多的企业都有自己的电商网站,但随着业务量的增长,并发量高了。由于平台架构的一些不足,会导致一系列严重的问题,电子商务平台的安全性,承受能力也经受着严峻的考...

    数商云
  • Problem E: 数量的类模板

    _DIY
  • Linux基础(day60)

    16.4 配置Tomcat监听80端口 配置Tomcat监听80端口目录概要 vim /usr/local/tomcat/conf/server.xml Con...

    运维小白

扫码关注云+社区

领取腾讯云代金券