【黄铁军】“类脑计算”以神经形态器件构造电子大脑

【新智元导读】以类似结构将产生类似功能为假设,“类脑计算”以神经形态器件构造电子大脑,绕过“理解智能”,专注“模拟智能”,或将颠覆现有计算模型并有助于弄清何为“智能”。北大教授黄铁军以客座编辑身份为“今日计算”2016年5月号撰写导言, 推荐类脑计算领域过去一年不容错过的6篇精彩论文及相关资源。

【作者介绍】黄铁军是北京大学信息科学技术学院教授,计算机科学技术系主任,长江学者特聘教授,国家杰出青年科学基金获得者。他是“今日计算”顾问委员会委员和中国区代表,中文版负责人。

(文/黄铁军)IEEE 计算机学会 2014 年在“今日计算”网站发布了《2022 报告》,技术领袖们描绘了他们眼中技术世界在 2022 年将变成什么样子。作为调查结果的一部分,该报告预测智能设备将汇聚成一张称为“无缝智能”的集成网络,并能与我们的脑波对接。一个随之而来的推论就是:什么样的计算技术才能让使这一设想成为现实?如何才能让机器拥有类似人类智能的通用智能?

谈及高速计算、逻辑推理和精确的记忆,现代计算机显然比人类强大得多,但这些都仍然依赖于人类所掌握的知识。人工智能(AI)也不例外。传统 AI 的“智能”是显式表达的知识库和规则,因为只有这样计算机才能够处理。在最新 AI 中,机器从大规模数据中“学习”知识,但所使用的模型仍然是人类设计的。(从世界中采集的)大数据驱动(人类设计的)智能模型能够创建更强大智能,这个新范式已经得到广泛认同,并引燃了全球性的 AI 热潮,但仍然存在许多挑战。

“今日计算” 2016 年5月号从“IEEE计算机学会数字图书馆”(CSDL)中选取了过去一年发表的6篇文章。虽然不少其他文章也论及类脑计算相关的特定技术问题,但我还是选择了这6篇文章,理由是或者其视角更为广阔,或者能够激发对这个令人兴奋话题的讨论

根本变革

类脑计算这个概念还没得到很好的定义。对于许多人来说,“类脑”的意思是“做到大脑能够做到的”(传统 AI)或者“像大脑那样做”(机器学习 AI)。但是,事实上我们对大脑能做什么以及大脑是怎么做到的并不完全了解,我们并不完全了解我们自己。

不同于模拟大脑功能的传统 AI 和机器学习方法,神经形态计算(Neuromorphic Computing)模仿大脑结构。这种方法从神经形态器件构造电子大脑做起,背后的假定是解析大脑的生理结构(神经元、突触、神经回路和皮质的功能区)比揭开智能原理更容易,而类似结构将产生类似功能。无论是类脑、脑启发还是仿脑,这个领域都可能会从根本上改变目前的计算模型,甚至我们对智能的理解。

本期内容

本月主题的两篇开篇之作来自 Computer 2015 年 12 月的“重启计算”专辑,探讨的是神经形态计算颠覆目前计算模型的可行性。Santosh Khasanvis 及其同事的在《纳米尺度架构因果智能》勾勒了在新的神经形态编程方法中引入随机性带来的好处。在《欧姆网格:基于忆阻器的阈值门网络》中,David J. Mountain 和他的同事描述了当今的图灵系计算机如何吸纳神经形态的效能。

欧盟资助的人类大脑计划(Human Brain Project)最近把刚刚建成的两台互补性的神经形态机对外开放,以支持神经微回路模拟以及在机器学习和认知计算中应用类脑原理的研究,这两个系统分别是 Karlheinz Meier 的基于神经形态物理器件的 BrainScaleS 系统和 Steve Furber 建构在高级 RISC 机(ARM)架构上的 SpiNNaker 系统。作为两篇 SpiNNaker 硬件建构论文的延续,Andrew D. Brown 和他的同事在 SpiNNaker 编程模型 中描述了支持机器运作的(并非通常意义上的)底层软件。

基于神经网络(特别是深学习)的机器学习在很多应用中都获得了成功。在《一种高通量神经网络加速器》中,陈天石和他的同事们描述了如何通过减少内存传输和尽可能有效地执行来设计这种面向大型神经网络的加速器架构。

【新智元注】由于和神经网络及深度学习关系密切,新智元将导言中提到的由中科院和法国 Inria 合作论文《一种高通量神经网络加速器》展示在这里。鉴于计算性能高且应用范围广,神经网络加速器重要性日益凸显,而其规模也在日益增加。目前,大多数机器学习加速器设计都侧重于改进算法提升计算力,但是根据 Amdahl 定律,仅凭算法改进提升神经网络加速器性能并不可行,低效的访存会成为瓶颈,抵消算法改进带来的性能和功耗等获益。本文通过优化访存内存,从应用栈的底层提高能效,是大型神经网络加速器架构设计的一种新思路。

关注新智元(AI_era)回复“0510”下载论文

A High-Throughput Neural Network Accelerator

Tianshi Che[1], Zidong Du[1], Ninghui Sun[1], Jia Wang[1], Chengyong Wu[1],

Yunji Chen[1] & Olivier Temam[2]

[1]:State Key Laboratory of Computer

Architecture, ICT, CAS, China

[2]:Inria, Scalay, France

1 INTRODUCTION

2 ACCELERATOR ARCHITECTURE

2.1 DianNao Architecture

Fig. 1. Accelerator architecture of DianNao.

Neural Functional Unit (NFU)

On-chip Storage

2.2 Loop Tiling

3 EXPERIMENTS

3.1 Methods

3.2 Accelerator Characteristics after Layout

3.3 Performance

Fig. 3. Speedups of DianNao over SIMD and GPU.

3.4 Energy

Fig. 4. Energy reductions of DianNao over SIMD and GPU.

4 FUTURE TOPICS

  • Large-scale learning models:Da-DianNao
  • Diverse machine learning techniques:PuDianNao

PuDianNao Architecture【点击查看大图】

  • Spiking neural network algorithms.
  • Programming support.

REFERENCES

Garrick Orchard 及其同事的《HFirst:一种对象识别的时域方法》介绍了一种用于对象识别的尖峰层级模型,它利用了生物启发的异步地址事件表示(Address Event Representation,AER)视觉传感器的输出中所蕴含的精准时域信息。这种方法代表着视觉计算模式已经走出传统时钟同步系统,也可推广应用于其他感觉和计算任务。

在最后一篇文章中,我们将目光移到机器人的智能。对于机器人来说,身体使它能够探索真实世界以及其中不确定的、不可预知的元素,这对智能涌现很重要。在《机器人学习引诱昆虫》中,Ji-Hwan Son 和 Hyo-Sung Ahn 展示了机器人用摄像头识别真的昆虫及其头上的触角,再通过喷射一种特殊气味引诱昆虫沿着给定轨迹爬行。

相关资源

Meier 和 Furber 在今年3月举行的“人类大脑计划首届神经形态计算应用研讨会”上对 BrainScaleS 和 SpiNNaker 系统的介绍。

Jeff Hawkins 在他著名的《论智能》(On Intelligence)一书中提出的“层级时域记忆(Hierarchical Temporal Memory,HTM)”原理仍然是“大脑如何运行”这一问题最有可能的答案之一。Hawkins 共同创建的 Numenta 公司开发了一套根据 HTM 原理运作的软件,通过 NUPIC 开源社区开放,该软件表明基于生物学习原理的计算方法有望实现新一代智能。

结论

从颠覆经典计算模型到机器人革命,类脑计算正在走向计算舞台的中心。AI 将成为未来计算技术必要组成部分,希望本文能够让你更加认同这个看法。请在下面分享你的见解、想法和经验。

原文来源(转载时有改动):

T. Huang, “Brain-Like Computing," Computing Now, vol.9, no.5, May. 2016, IEEE Computer Society [online]; https://www.computer.org/web/computingnow/archive/brain-like-computing-may-2016.

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2016-05-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

在大家热议Vicarious AI那篇Science论文时,我们和这家公司的CTO聊了聊(回应LeCun批判)

39480
来自专栏ATYUN订阅号

AI提早6年预测老年痴呆症,灵敏度达到100%

老年痴呆症影响超过500万美国人,预计到2050年这一数字将增加到1600万。早期干预可以帮助减轻最令人虚弱的症状,即记忆丧失以及阅读和组织思想的问题,但不幸的...

12510
来自专栏AI科技大本营的专栏

最近比较火的10篇大数据文章,看看你错过了哪篇?

翻译 | AI科技大本营(rgznai100) 参与 | Shawn Sicara团队精挑细选,了10篇在今年7月发表的大数据相关文章(Sicara是一家从事A...

36360
来自专栏大数据文摘

机器也有品味:谷歌最新算法让街景图具有专业摄影师审美

17320
来自专栏吉浦迅科技

人工智能技术怎样帮我戒掉布朗尼蛋糕

我那风中烛火般摇晃的意志力在跟双份巧克力布朗尼蛋糕对抗着,果不其然,布朗尼蛋糕大胜。 Lose It 饮食 app 的深度学习卡路里计算器,是我拿来对抗美食诱惑...

469140
来自专栏镁客网

谷歌AI医疗新成果:将转移性乳腺癌检测准确率推向了几乎完美的99%

在国家癌症中心发布的《2017年中国肿瘤的现状和趋势》报告中显示,乳腺癌的发病率已经位列女性恶性肿瘤之首。

17420
来自专栏专知

【经典重读】统计学习那些事

!【导读】 这是杨灿博士在早年写的关于统计学习的一些见解,尤其关于Lasso与Boosting。当年我读博2011年时期间看到这篇文章,也是受益良多。作者文采很...

34030
来自专栏ATYUN订阅号

Nvidia开放Clara医疗保健平台和医疗成像AI工具,并宣布新的合作伙伴关系

医疗保健仍然是AI应用和服务增长最快的市场之一,预计到2021年总体价值将达到66亿美元。AI系统可以分析超声波扫描,检测眼部疾病,并加快X射线和计算机断层扫描...

17430
来自专栏玉树芝兰

文科生如何理解卷积神经网络?

不愿意看那一堆公式符号,却想知道卷积神经网络(Convolutional Neural Network)如何做图像分辨?分享一段我给自己研究生的讲解答疑视频,希...

14030
来自专栏新智元

【强化学习炼金术】李飞飞高徒范麟熙解析强化学习在游戏和现实中的应用

来源: 心有麟熙 作者: Jim 范麟熙 编辑:张乾 【新智元导读】斯坦福大学博士生、师从李飞飞教授的Jim Fan(范麟熙)以轻松有趣的方式介绍了强化学习和游...

45380

扫码关注云+社区

领取腾讯云代金券