神经网络也有玻璃心?玻璃中掺入杂质模仿神经元,完成数字识别,几乎不用电力!

大数据文摘出品

作者:宁静、魏子敏

有没有想过把神经网络从计算机“搬”进一片玻璃中?

通过神经网络进行图像识别、智能推荐已经非常普遍。最近几年,计算能力和并行处理的增加使其成为一种非常实用的技术。然而,在核心层面,它仍然是一台数字计算机,和其他的计算机程序并无差别。并且,其对电能的要求也越来越高。

以识别手写数字为例,这是一个非常经典的深度学习入门课题:你需要经过层层神经网络的前向传播以及以梯度下降,为原理支撑的BP算法调整每层神经元的权重、偏差,来完成最终的识别效果,中间的计算量和参数交换复杂程度可想而知。

长久以来,研究者们一直在探索一种更快、更节能的方法来实现神经网络的复杂计算。

近日,来自威斯康星大学、麻省理工学院和哥伦比亚大学的研究人员就发布了一种最新的神经网络,采用一种特殊的玻璃面板,用线性材料和非线性材料模拟网络里的单元,经过训练,也可以完成普通神经网络的工作。

最有趣的是,这种特殊玻璃面板几乎不需要电力,只需要有光照即可工作。目前,研究团队已经用它完成了识别灰度手写数字的任务,准确率达到了79%。

这种特殊的玻璃含有精确控制的夹杂物,例如气孔或诸如石墨烯或其他材料的杂质。当光线照射到玻璃上时,会发生复杂的波纹图案,并且在玻璃上的十个区域之一,光线会变得更强烈。每个区域对应一个数字。

例如,以下是两个在玻璃上识别手写数字“2”的例子:

研究团队称他们设计了非常严格的规则来制作相关实验设备,并且将在尽可能“可大规模生产”的前提下,进一步改进材料提升识别比重。该团队还计划以3D形式创建网络。

先放上相关论文链接?,

https://www.osapublishing.org/prj/fulltext.cfm?uri=prj-7-8-823&id=415059

再跟文摘菌一起详细看看,这一神奇的玻璃神经网络是如何实现的。

从ANN到光学神经计算

Artificial neural networks(ANN)人工神经网络已经广泛应用在深度学习领域,但同时需要计算机不断增强的计算能力,这促使人们努力寻找更快,更节能的替代计算方法,一个典型的方法是optical neural computing光学神经计算。这种模拟计算方法,具有最小的能量消耗,更重要的是,其内在的并行性可以大大加快计算速度。

大多数光学神经计算遵循数字神经网络的架构,使用分层前馈网络,如图下图(a)所示,自由空间衍射或集成波导被用作分层激活神经元之间的连接,与ANN中的数字信号类似,光信号在前向方向上通过光网络一次。

那么什么充当BP算法的反馈呢?

正是光的反射提供了反馈机制,从而产生了丰富的波动物理学。在这里,通过光学反射表明,有可能超越分层前馈网络的范例,以连续和无层的方式实现人工神经计算。

下图(b)显示了提出的纳米光子神经介质nanophotonic neural medium(NNM)。光信号从左侧进入,输出是介质右侧的能量分布。计算由诸如二氧化硅的主体材料执行,有许多内含物,夹杂物可以是气孔,或具有与主介质的折射率不同的任何其他材料,这些夹杂物在向前和向后方向上都强烈地散射光。

为什么要有夹杂物呢?在光学神经计算中充当什么角色?

夹杂物的位置和形状相当于数字神经网络中的权重参数,它们的大小通常是亚波长。非线性操作可以通过由染料半导体或石墨烯可饱和吸收体制成的夹杂物来实现,其中它们执行分布式非线性激活。这些非线性设计考虑了整流线性单元(ReLU),它们允许强度高于阈值的信号通过并阻止强度低于该阈值的信号。

为了更好地说明这种行为,图(d)显示了这种非线性材料的实现, 波长为λ的光的输出强度,厚度为λ/ 2,通过设计这种非线性材料, 实现入射波强度的非线性函数, 将该材料用作非线性激活,如浅蓝色所示。

下图是运行中的NNM,其中训练二维(2D)介质以识别灰度手写数字。该数据集包含5000个不同的图像,其中代表性的图像如图 (a)所示,每次,由20×20像素表示的一个图像被转换为矢量,然后被编码为入射在左侧的输入光的空间强度。

在NNM内部,纳米结构产生强干扰,并且根据图像所代表的数字将光引导至10个输出位置中的一个,其中具有最高能量光强的位置对应的类别被判定为最终结果。图 (b)所示由两个不同的手写数字“2”创建的过程,由于手写数字的形状不同,由这两个图像产生的 field patterns是完全不同的,可以看到图(b)中的黄色的光的形状略有不同,但两者在输出处的相同区域显示很高的光强,正确地完成手写数字的识别。

同样,图 (c)显示的是识别两个不同形状手写数字“8”的情况,在十个区域的另外一个位置产生很强的光强,这里,通过使用有限差分频域(FDFD )方法求解非线性波动方程来模拟场。NNM的大小是80λ到20λ,其中λ是用来携带和处理信息的光的波长。

对于由1000个图像组成的测试集,平均识别准确度达到79%以上,报告的准确性有限是由于研究者在制造问题的优化过程中设置的严格限制。这些约束使得介质保持密集,否则它将由稀疏的空气和二氧化硅部分组成。通过放宽这些要求或使用更大的介质尺寸,可以进一步提高最终的测试精度。

从实验室到业界还有多远?

听起来这个玻璃中的神经网络似乎还是个实验室的雏形,但是,在查阅相关资料的过程中,文摘菌惊喜地发现,早在2015年,就有一家法国的初创公司,在用这种光学的方式实现神经网络。

这家叫做LightOn的公司有一个有趣的slogan:用光改变计算的未来,希望通过光学仪器模拟计算设备,进而提升计算速度、尺寸和功率效率收集自然物理过程。并且推出了一款光学处理单元(OPU)的硬件协处理器。它旨在提升机器学习中一些计算密集度最高的任务。OPU可以插入标准服务器或工作站,并通过一个简单的工具箱访问,该工具箱可以在熟悉的编程环境中无缝集成,已通过LightOn Cloud向选定用户提供全面的OPU原型。

在使用案例部分,文摘菌还发现了这家公司的一些实际应用已经超过了识别手写数字,包括图片和影像识别、推荐系统、NLP等相关系统都有涉及。

LightOn官网:

https://www.lighton.ai/our-technology/

虽然相关数据距离目前的业内使用还有一定距离,但是,对于追求算力和能效的计算领域来说,也许真的能为这个领域带来一些不一样的东西。

相关报道:

https://hackaday.com/2019/07/16/neural-network-in-glass-requires-no-power-recognizes-numbers/#more-367116

本文分享自微信公众号 - 大数据文摘(BigDataDigest)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-07-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏计算机视觉战队

激活函数还是有一点意思的!

激活函数(Activation functions)对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网...

20730
来自专栏量子位

官方资源帖!手把手教你在TensorFlow 2.0中实现CycleGAN,推特上百赞

CycleGAN,一个可以将一张图像的特征迁移到另一张图像的酷算法,此前可以完成马变斑马、冬天变夏天、苹果变桔子等一颗赛艇的效果。

11230
来自专栏MixLab科技+设计实验室

超级节点MLN012-算法作曲

早在1981的时候,David Cope 创造了人工智能音乐作曲系统(EMI,Experiments in Musical Intelligence)。

8120
来自专栏计算机视觉战队

传统图像算法+深度学习方法结合会有什么样的火花?

老早之前,有同学在问,有没有传统图像算法与深度学习结合的,其实这类的不是很多,之前学生研究期间有做过一些类似这类工作,结果还是很可以的,结果确实会比单独使用的好...

22020
来自专栏MixLab科技+设计实验室

本周AI要闻 - NO.02

最近,BuzzFeed对外曝光了一个涉及金额达数百万美元,涉及Play Store上125个APP应用的广告作弊计划。这个计划是通过数十个国家的一系列空壳公司精...

9730
来自专栏小小挖掘机

RS Meet DL(54)-使用GAN搭建强化学习仿真环境

论文名称:《Toward Simulating Environments in Reinforcement Learning Based Recommendat...

14640
来自专栏MixLab科技+设计实验室

本周AI要闻

6月25日,中国人工智能独角兽公司深兰科技与希腊知名高等学府塞萨洛尼亚里士多德大学在希腊地标性建筑扎皮翁宫签署战略合作协议,深兰科技将为希腊未来的智能城市建设提...

9010
来自专栏量子位

AI Time|企业AutoML旨在流程自动化,可解释是人机交互的必经之路

AI Time第一期的主题是“论道AI安全与伦理”,当时我们向在场的三位老师提出了一个困扰大众已久的问题,即“我们有一天真的会达到电影里的那种智能吗?拥有情感,...

7720
来自专栏量子位

ICML新研究提出泛化能力评估新指标:直接上向量余弦距离就OK,还开源了相关代码

一篇出自比利时天主教鲁汶大学的研究发表在了ICML 2019识别和理解深度学习现象Workshop上。

10340
来自专栏奇点大数据

AI可以做智能投资么

这个问题应该说答案是肯定的——可以。关于使用计算机自动化做智能投资的研究一直没停过。这些年大家一直说的量化交易其实就是这样一个范畴的内容。那么AI做智能投资是怎...

9830

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励