双层全光学神经网络：速度快，功耗低

据美国光学学会官网近日报道，中国香港科技大学的研究人员演示了一种全新的多层全光学人工神经网络，向着实用的大规模光学神经网络迈出了关键一步。

背景

大脑是人体最重要的器官之一，它支撑着人的视觉、听觉、平衡、味觉、嗅觉、记忆、情感、学习等。大脑的构造十分复杂，它由大约1千亿个神经元（Neuron）组成，并由约100万亿个突触（Synapse）连接。这些神经元与突触一起构成了一个极其庞大的生物神经网络。

生物神经网络中的神经元与突触（图片来源：维基百科）

生物神经网络使大脑具有非常强大的计算与学习能力，能以非常低的功耗，并行处理大量数据。即便是如今最强大的计算机，当涉及到模式识别、风险管理及其他类似的复杂任务时，也仍然无法与人脑抗衡。

为了模仿人脑的工作方式，科学家们提出了人工神经网络（Artificial Neural Network，即ANN）。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。人工神经网络是一种可实现并行计算的分布式系统，具有自适应、自组织和实时学习等特点。

可是，采用人工神经网络执行各种任务，例如无人驾驶、语音识别、科学研究，需要大量的计算资源。这样不仅会消耗很多能量，也会花费很长时间。一般来说，学习这些任务需要采用集成大量处理器的大型计算机，而训练时间会长达到数周甚至数月。

为此，科学家们一直在努力探索新的神经网络系统解决方案，其中比较典型的有“基于忆阻器的神经网络”与“光学神经网络”。今天，我们要重点关注的是光学神经网络。与基于传统计算机处理器的神经网络相比，采用光学器件打造的光学神经网络的处理速度更快，功耗更低。

例如，去年8月，美国加州大学洛杉矶分校（UCLA）的科研团队放弃采用速度慢、能耗高的传统电子硬件，取而代之的是采用光波实现几乎零能耗、零延迟的深度学习系统。他们提出一种全光学的深度学习框架：衍射深度神经网络（Diffractive Deep Neural Network，D2NN）。该网络利用层级传播的光衍射来执行计算，实现了手写数字的图像识别。

（图片来源：UCLA）

又例如，今年5月，德国明斯特大学、英国牛津大学和埃克塞特大学成功开发出包含人工神经元网络的芯片，这种人工神经元能在光线作用下工作，模仿人脑神经元与突触的行为。这种光学神经突触网络能像大脑一样“学习“信息。因为这个系统仅仅过光线运行，而不是通过传统的电子运行，所以处理速度要快许多倍。

能模仿生物神经元系统的全光学类脑计算芯片示意图。（图片来源：Johannes Feldmann）

创新

近日，中国香港科技大学的研究人员演示了一种全新的多层全光学人工神经网络，向着实用的大规模光学神经网络迈出了关键一步。

（图片来源：Olivia Wang, Peng Cheng Laboratory）

在美国光学学会高影响力学术期刊《Optica》上，该校研究人员详细描述了他们的双层全光学神经网络，并成功地将它应用于一项复杂的分类任务。

技术

在传统的混合光学神经网络中，光学组件通常用于线性运算，而非线性激励函数（模仿人脑中神经元响应方式的函数）通常会采用电子方式实现，因为非线性光学器件通常需要大功率激光器，而大功率激光器在光学神经网络中很难实现。

为了克服这一挑战，研究人员采用具有电磁诱导透明效应的冷原子执行非线性函数。研究团队成员之一的杜晟旺（Shengwang Du，音译）表示：“这种光诱导效应能以非常弱的激光功率实现。因为这种效应是基于非线性量子干涉，所以它有可能将我们的系统扩展到量子神经网络中，从而解决经典方法难以解决的问题。”

为了确认新方案的能力与可行性，研究人员构造了一个两层全连接全光学神经网络，其输入单元与输出单元的数目分别为16和2。研究人员采用他们的全光学网络对一种磁性统计模型“伊辛模型（Ising model）”的有序相和无序相进行分类。研究结果表明，全光学神经网络与训练有素的计算机基神经网络一样准确。

下图所示：普通的全光学神经网络。(a) 一种典型的双层神经网络 ；(b)包含线性与非线性运算功能的光学神经元的实验实现原理图。

（图片来源：参考资料【1】）

价值

研究团队成员之一的刘俊伟（Junwei Liu, 音译）表示：“我们的全光学方案可以实现一种以光速执行光学并行计算的神经网络，并且消耗的能量很少。这种大规模的全光学神经网络将应用于从图像识别到科学研究的诸多领域。”

研究人员们计划将这种全光学方案拓展至具有复杂架构的大规模全光学深度神经网络，这些神经网络是为特殊的实际应用例如图像识别而设计的。这将有助于论证以更大规模运行的方案。

杜晟旺（音）表示：“尽管我们的工作是一种原理论证性的演示，但它表明，未来开发光学版本的人工智能将成为可能。”刘俊伟（音）补充道：“新一代的人工智能硬件，与当今的计算机基人工智能相比，本质上要快得多，而且功耗更低。”

关键字

光学、大脑、神经网络、人工智能

参考资料

【1】Ying Zuo, Bohan Li, Yujun Zhao, Yue Jiang, You-Chiuan Chen, Peng Chen, Gyu-Boong Jo, Junwei Liu, Shengwang Du.All-optical neural network with nonlinear activation functions. Optica, 2019; 6 (9): 1132 DOI: 10.1364/OPTICA.6.001132

【2】https://www.osa.org/en-us/about_osa/newsroom/news_releases/2019/optica_neural_network/