专栏首页机器之心MIT新突破:Nature Photonics揭秘新型光学深度神经网络系统

MIT新突破:Nature Photonics揭秘新型光学深度神经网络系统

选自MIT

作者:David Chandler

机器之心编译

参与:吴攀、黄小天、蒋思源

尽管科学家和研究者一直在探索新型的计算形式,但目前电子计算仍然是绝对的主流。随着以深度学习为代表的人工智能技术的兴起,人们也开始关注如何开发出能更有效、更高速地执行神经网络运算的计算硬件。近日,麻省理工学院(MIT)的研究者在 Nature Photonics 上发表的一篇论文《Deep learning with coherent nanophotonic circuits》提出了一种使用光子技术实现神经网络的方法,而且他们还已经对这一概念进行了实验验证。MIT 官网对这一研究进行了报道解读,机器之心对这篇文章以及原论文的摘要进行了编译介绍。

该概念图展示了集成在印制电路板上的可编程纳米光子(nanophotonic)处理器,其将助力深度学习计算

基于模拟人类大脑激活传导的人工神经网络,与其多层叠加的「深度学习」计算机系统已经成为了计算机科学的热门话题。除了引发了如人脸识别和语音识别等技术的变革外,这些系统不仅可以利用众多的医学数据找到可以高效诊断的模式,同时还能扫描化学成分而找到可能的新药物。

但是,即使对于最强大的计算机,这些系统执行所需要的计算也是十分复杂和巨量的。

近日,MIT 的一个研究团队连同其他一些研究员开发了一种新型计算方式,该方法利用光而不是电,因此该计算方法能大大提高某些深度学习计算的效率和速度。该研究结果发表在近日 Nature Photonic 期刊上,而完成这项研究的人员包括 MIT 博士后 Yichen Shen、研究生 Nicholas Harris、教授 Marin Soljačić 和 Dirk Englund 等人。

Soljačić 表示,多年来,许多研究者都声称开发出了基于光学的计算机,但是「人们太夸大其辞了,结果反噬其身」。虽然还有很多研究者提出这种光子计算机无法实现,但这个团队基于光学开发的神经网络系统「也许适用于一些深度学习应用」。

传统的计算机架构对于一些重要的神经网络任务所需要的各种计算来说并不是很高效。这样的任务通常涉及到大量的矩阵乘法,因此在常规的 CPU 和 GPU 芯片上需要密集的计算。

在多年的研究之后,该 MIT 研究团队找出了一种以光学执行这些操作的方案。Soljačić 说:「我们这种芯片只要调试好,就能执行矩阵乘法,并在理论上几乎能立即实现零能耗(zero energy)。我们已经展示了其关键组成模块,但整个系统还没有构建完成。」

作为类比,Soljačić 指出即使是普通的眼镜镜片,它也对穿越的光线执行了一些列复杂的计算(即波函数的傅立叶变换)。虽然光束在新型芯片中执行的计算方式很不一样,但基本的原理都是一样的。新方法使用多条光束并通过其间的光波干涉而产生干涉图样,而这些干涉图样就承载着预设计算的结果。这种方法构建的芯片,研究者就称为可编程纳米光子处理器。

Shen 说,因此原理上讲,使用这一架构的光学芯片可以更快速地执行传统人工智能算法的计算,且能耗只占传统电子芯片的千分之一不到。他说:「用光来做矩阵乘法的天然优势在加速和降低能耗方面发挥了大作用,因为密集矩阵乘法是人工智能算法中最耗能和耗时的部分。」

这种新型可编程纳米光子处理器由 Harris 及其同事在 Englund 的实验室开发,使用了一个波导阵列,其中的波导以一种可按需修改的方式互连在一起,它们可以根据特定的计算对波束进行编程。Harris 说:「你可以编程任何矩阵运算。」该处理器可以引导光线穿过一系列互相耦合的光子波导。该团队的完整方案需要使用交错的器件层,其可以应用一种名为非线性激活函数(nonlinear activation function)的运算操作,该运算类似于大脑中的神经元运算。

为了证明这一概念,该团队设置了可编程纳米光子处理器来实现可识别四个基本元音的神经网络。即使目前系统还很基本,但依然可以达到 77% 的准确率,与之相比,传统方法的准确率接近 90%。Soljačić 说:「在扩展该系统取得更高准确率方面不存在大的障碍。」

Englund 补充说可编程纳米光子处理器还有其他应用,比如,数据传输的信号处理,他说:「该系统也可以胜任高速模拟信号处理,且比其他一开始把信号转化为数字的传统方法更快,因为光在本质上是一种模拟介质。」又说:「这种方法可在模拟领域做直接处理。」

该团队表示,这个系统走向实用还需更多的努力和时间;然而,一旦系统获得扩展完整运行,就能实现很多用例,比如用于数据中心或安全系统。Harris 说:「该系统也可推动无人驾驶汽车、无人机的发展,以及在你需要做大量计算却苦于没有功率或时间时,该系统都会有所帮助。」

以下是对原论文的摘要介绍:

论文:使用相干纳米光子电路的深度学习(Deep learning with coherent nanophotonic circuits)

论文地址:https://www.nature.com/nphoton/journal/vaop/ncurrent/full/nphoton.2017.93.html

人工神经网络是一种灵感来自于大脑中信号处理过程的计算网络模型。这些模型可以极大提升许多机器学习任务的表现,包括语音识别和图像识别。但是,今天的计算硬件在实现神经网络方面还很低效,这在很大程度上是因为其是为冯·诺依曼体系结构设计的。为了开发出为实现专为人工神经网络调节的电子架构,使其能实现更高的计算速度和准确度,人们已经付出了巨大的努力。在这里,我们提出了一种可用于全光学神经网络的新架构,其在理论上可以在当前最好的用于传统推理任务的电子设备的基础上实现进一步的计算速度和功率效率提升。我们使用一个硅光子集成电路进行了实验——该可编程纳米光子处理器包含一个具有 56 个马赫-曾德尔干涉仪(Mach–Zehnder interferometer)的级联阵列;该实验演示了这一概念的关键部分,并且表明了其在元音识别上的可用性。

图 1:ONN 的一般架构

图 2:OIU 示意图

图 3:元音识别

原文链接:http://news.mit.edu/2017/new-system-allows-optical-deep-learning-0612

本文为机器之心编译,转载请联系本公众号获得授权。

本文分享自微信公众号 - 机器之心(almosthuman2014)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-06-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 处理器高危漏洞无人幸免?树莓派:我们不受影响

    机器之心
  • 第一次胜过MobileNet的二值神经网络,-1与+1的三年艰苦跋涉

    二值网络是非常极致的一种神经网络,它的权重、激活值只有+1 与-1 两种状态。那么这么极简的神经网络到底能干什么,它的优势与限制都有什么?这就是本文关注的,我们...

    机器之心
  • 业界 | 深度定制:揭秘Graphcore深度学习芯片加速软件

    选自The Next Platform 作者:Nicole Hemsoth 机器之心编译 参与:侯韵楚、黄小天、李泽南 两年来,我们推出了一系列专为处理神经网络...

    机器之心
  • 【译】《Understanding ECMAScript6》- 第七章-Promise

    目录 异步编程 Promise基础 链式Promise 多重Promise响应 Promise继承 总结 异步操作是JavaScript最强大的功能之一。Jav...

    寒月十八
  • Flink + 强化学习 搭建实时推荐系统

    如今的推荐系统,对于实时性的要求越来越高,实时推荐的流程大致可以概括为这样: 推荐系统对于用户的请求产生推荐,用户对推荐结果作出反馈 (购买/点击/离开等等),...

    zhisheng
  • web前端薪资分为九段,你是哪一段?

    互联网的疯狂开展,让企业对开发人员的需求缺口越来越大,以至于呈现年薪40万前端职位,关键是:竟然仍是招不到人,够悲催的吧;而另一端,越来越多的人认识到这是一块大...

    企鹅号小编
  • Tumblr爬虫——下载指定博主资源

    看看最近的新闻都知道Tumblr将在12月17日起下架所有成人内容。具体信息如下,内容来自官网

    小歪
  • 美国国防部与CMU合作发布AI挑战赛,用卫星图评估受灾情况

    当灾难来袭时,速度至关重要。生与死的差异就取决于对灾难后续破坏力正确评估所花费的时间。

    大数据文摘
  • 五分钟带你了解Cookie、Session、Token 和 JWT

    根据上图可以看到,从用户请求发起,到服务端完成操作,流程颇多,但是HTTP无状态,我们如何才能详细记录这些操作过程并加以严格的权限判断控制,接下来就开始今天的主...

    周三不加班
  • 五分钟了解共识机制

    “共识机制是区块链的灵魂。”这是业内经常能听到的一句话,共识机制在区块链中的地位可想而知。那么到底什么是共识机制呢?我们不妨从拜占庭将军问题说起。

    CDA数据分析师

扫码关注云+社区

领取腾讯云代金券