基于频率梳的光学神经网络
2021年伊始，Nature杂志在同一期上刊登了两篇光学神经网络的最新进展，标题分别是：
1) Parallel convolutional processing using an integrated photonic tensor core
2) 11 TOPS photonic convolutional accelerator for optical neural networks
小豆芽这里做一个简单的介绍与比较，供大家参考。
文献1中，采用光学频率梳(optical frequency comb)和相变材料(phase change material, 以下简称PCM)这两个核心技术，实现了并行的光学张量核(photonic tensor core)。整个系统的原理图如下图所示，
（图片来自文献1）
基于氮化硅微环波导的克尔效应，产生了孤子频率梳。每个波长的强度可以通过VOA单独调节，这样实现了对输入矢量的编码。接着将这些不同频率的光波输入到含有PCM的SiN光芯片中(关于PCM的原理，可参看光芯片上的全光脉冲神经网络)。Kernel矩阵的矩阵元通过PCM进行编辑，当光经过相应的光路时，信号强度会进行不同程度的改变，从而完成标量积的运算。最终不同波长的光信号在片外进行分离(DeMux)并转换成电信号，完成矩阵的乘加计算。
整个系统的光路图如下图所示，
（图片来自文献1）
实验中共使用了16组波长，波长间隔为100GHz。每四个波长为一组，通过Mux合束，然后从同一个耦合器耦入到相同的通道中。Weight矩阵的规模最高可以达到16x16, 可以根据情况选取合适的矩阵大小。实验中，对于MNIST手写数字的识别，他们采用四个2x2的Kernel矩阵，对应4x4的矩阵。对于矩阵元的设置，通过下述的结构实现，
采用耦合长度为10um的定向耦合器，其分光比为50/50。当光经过含PCM的波导(上图中的绿色区域)，通过调节PCM材料的状态(非晶态/晶态)，可实现对光场强度的调节。
其光学耦合器采用了3D打印的聚合物结构(PWB, photonic wire bonding)，比较有意思，如下图所示，实现了对宽波导波长的高效率耦合。
整个系统对MNIST数据集单张图片的处理时间为8.1us, 预测准确率为95.3%。这一指标与电学的商用芯片比，还是存在一定的差距，如下图所示，
文献2中采用了类似的光学频率梳，但是不同波长携带的信号对应于Kernel矩阵。而将输入的矢量信号编码于时域的电信号上，通过电光调制器将电信号加载到光信号上，采用时间和频率两个维度的编码，最终完成对卷积神经网络的计算。其原理图如下图所示，
（图片来自文献2）
整个系统如下图所示，
（图片来自文献2）
采用10个3x3的Kernel矩阵，因此对应90个波长。波长间隔为48.9GHz，每个波长的强度通过wave shaper进行调节。输入的图片像素大小为500x500, 转换成250000*1的矢量，信号加载到光域之后，通过2.2km长的单模光纤，这样不同波长的信号在时域上将产出15.9ps的时间间隔，然后对同一时刻的光信号进行相加，即可得到矩阵计算的结果。下图是四个波长信号相加的示意图，横轴为时间维度，纵轴为波长维度。每一行的数据对应同一波长不同时刻的数据，将特定列的信号相加，即可得到所需的矩阵乘加计算结果。
需要注意的是，在探测器端，探测的是不同波长的强度和，并没有像文献1中，针对不同波长进行探测。
该系统的处理速率达到11TOPS, MNIST数据集的预测准确率为88%。
简单整理总结一下，
1）同一期发表相同领域的两篇进展，可见该领域的火热。科技界开始重视光学神经网络这一领域，越来越多的新鲜血液加入到这个方向的研究中，各显神通。微信讨论群里也有不少攻读这个方向的研究僧。
2）两篇文章都将目光投入了波长这个维度，利用不同波长实现对信号的并行处理，发挥光信号处理的独特优势。并且都采用了相似的光学频率梳，区别在于是一个用作输入信号的编码，一个用于Kernel矩阵元的编码。
3）文献一使用PCM进行矩阵元的编码，更强调芯片化，文献二采用的是分立光学的方案，并且使用了时间这一维度。
4）两篇进展都演示了对MNIST手写数字数据集的处理，准确率都比较高，处理速度也非常快。但是和目前的商用AI芯片比，还存在一定的差距。能否产业化，还存在很多技术难题。
5）与最早的基于MZI网络的相干方案(基于硅光芯片的深度学习)相比，这两篇报道本质上都可以算作非相干方案的范畴，侧重于对强度的调节。相干与非相干方案谁更具有优势，现在似乎还没有定论。
6）无论是哪种方案，最终都会涉及到光电信号之间的相互转换，但是似乎两篇文献都没有强调这一部分。有可能这些器件会成为整个系统的瓶颈或者短板。
文章中如果有任何错误和不严谨之处，还望大家不吝指出，欢迎大家留言讨论。也欢迎大家向我提问，小豆芽会尽自己的能力给出解释。另外，微信讨论3群还有空位，有需要的朋友可以加入进来讨论硅光技术。大家也可以添加我的个人微信photon_walker。
参考文献：
- J. Feldmann, et.al., "Parallel convolutional processing using an integrated photonic tensor core", Nature 589, 52(2021)
- X. Xu, et.al., "11 TOPS photonic convolutional accelerator for optical neural networks", Nature 589, 54(2021)