新型光子芯片：效率更高、能耗更低！

据美国麻省理工学院官网近日报道，该校研究人员开发出一种新型“光子”芯片，它用光取代电，并在处理过程中的能耗相对较低。该芯片处理大规模神经网络的效率比目前的经典计算机高数百万倍。

背景

神经网络，是广泛应用于诸如机器人目标识别、自然语言处理、药物开发、医疗成像以及为无人驾驶汽车供电等任务的机器学习模型。

汽车上的神经网络芯片可预知汽车撞人的风险（图片来源：韩国科学技术院）

新型光学神经网络，采用光学现象来加速运算，比电子神经网络更快速、更高效。

光子神经形态处理器（图片来源：Johannes Feldmann）

但是，随着传统神经网络和光学神经网络变得越来越复杂，它们会消耗大量电力。为了解决这个问题，研究人员与主要的科技公司例如谷歌、IBM、特斯拉都开发出了“人工智能加速器”，这种专用芯片可以提升训练和测试神经网络的速度以及效率。

创新

对于电子芯片（包括大多数的人工智能加速器）来说，能耗都存在着一个理论上的最小值。近日，美国麻省理工学院的研究人员开始为光学神经网络开发光子加速器。这些芯片的运行效率提高了几个数量级，但是它们却依赖于一些体积庞大的光学元器件，这些元器件限制了这些芯片在相对较小的神经网络中的应用。

在一篇发表于《Physical Review X》期刊上的论文中，麻省理工学院的研究人员描述了一种新型光子加速器，它采用更加紧凑的光学元件和光学信号处理技术，显著地降低了能耗和芯片面积。这项技术使得芯片可以扩展应用到比电子神经网络大几个数量级的光学神经网络上。

（图片来源：麻省理工学院）

神经网络在“MNIST图像分类数据集”上的仿真训练表明，加速器理论上处理神经网络的所需的能耗，不足传统电子加速器能耗极限的千万分之一，并且大约为光子加速器能耗极限的千分之一。研究人员们正在开发原型芯片，以通过实验证明这些结果。

技术

神经网络通过包含互连节点（称为“神经元”）的许多计算层来处理数据，以查找数据中的模式。神经元从它们上游的邻居中接收输入，并计算出输出信号，该信号被进一步发送至下游的神经元。每个输入也赋予了“权值”，这个值基于它相对于所有其他输入的重要性。随着数据通过层“更深”地传播，这个网络逐步地学习更复杂的信息。最终，输出层基于整个层的计算生成预测。

所有的人工智能加速器都旨在减少在神经网络中特定的线性代数步骤（称为“矩阵乘法”）中处理和移动数据所需的能量。在那里，神经元与权值都被编码成独立的行与列，然后再组合起来以计算输出。

在传统的光子加速器中，编码有关于层中每个神经元信息的脉冲激光，流入波导并通过分束器。生成的光学信号被馈送到方形光学元件（称为“Mach-Zehnder”干涉仪）网格中，它被编程以执行矩阵乘法。用每个权值信息编码的干涉仪，采用信号干扰技术，来处理光学信号和权值，以计算出每个神经元的输出。但是，这里存在着规模的问题：每个神经元都必须有一个波导，每个权值都必须有一个干涉仪。因为权值的数量是神经元数量的平方，所以那些干涉仪会占据很大的空间。

电子研究实验室的博士后瑞安·哈默利（Ryan Hamerly）表示：“你迅速地意识到，输入神经元的数量永远不能大于100左右，因为你无法在芯片上安放那么那么多的元件。如果你的光子加速器每层可以处理的神经元不超过100个，那么将很难在那个架构中实现大型神经网络。”

研究人员的芯片依赖于更加紧凑、节能的“光电”方案，该方案通过光信号编码数据，但是使用“平衡零差检测”来进行矩阵乘法。这种技术可以在计算两个光信号的幅度（波高）乘积之后生成可测量的电信号。

编码有关每个神经网络层的输入和输出神经元信息的光脉冲（训练神经网络需要这些信息）流过单个信道。用矩阵乘法表中整行的权值信息编码的单独脉冲流过单独的信道。携带神经元与权值数据的光学信号，成扇形散开到零差光电探测器的网格中。光电探测器采用信号的幅度来计算每个神经元的输出值。每个探测器将每个神经元的电气输出信号反馈到调制器中，该调制器将信号转换回光脉冲。该光信号变成了下一层的输入，以此类推。

该设计的每个输入和输出神经元只需要一个信道，而且零差光电探测器的数量与神经元一样多，而不是与权值一样多。因为神经元的数量比权值的数量少很多，所以这样就显著地节约了空间。因此，芯片就可以扩展至每层超过一百万个神经元的神经网络。

对于光子加速器来说，信号中存在不可避免的噪声。馈入芯片的光线越多，噪声就越少，准确度就越高，但是效率却变得相当低。输入光线越少，效率就会越高，但是会对神经网络的性能产生负面影响。可是，该校研究生伯恩斯坦（Bernstein）表示，这里有一个“最佳点”，它采用最小的光学功率同时保持准确度。

这个对于人工智能加速器而言的最佳点，是通过单次执行两个数字乘法（例如矩阵乘法）操作所消耗的焦耳量来度量的。现在，传统加速器以皮焦耳（一万亿分之一焦耳）来度量。光子加速器以阿焦耳来度量，效率高出一百万倍。

在他们的仿真中，研究人员们发现，他们的光子加速器能以低于阿焦耳的效率来运行。伯恩斯坦表示：“在失去准确度之前，你可以发送一些最小的光学功率。我们芯片的基本极限比传统加速器低得多，也低于其他光子加速器。”

价值

哈默利表示：“人们正在寻找可以超越能耗基本限制的技术。光子加速器很有前景，但是我们的动机是构造一个可扩展至大型神经网络的光子加速器。”

这些技术的实际应用包括减少数据中心的能耗。论文共同作者、电子研究实验室的研究生亚历山大·斯路德（Alexander Sludds）表示：“运行大型神经网络的数据中心的需求不断增长，随着需求增长，在计算上处理的难度也越来越大。”

关键字

人工智能、神经网络、光学芯片

参考资料

【1】http://news.mit.edu/2019/ai-chip-light-computing-faster-0605