前沿 | 如何用量子硬件加速机器学习？

这是发表在顶级期刊《现代物理评论》上的综述文章“Machine learning and the physical sciences”的第七、八节。作者为Giuseppe Carleo ，Ignacio Cirac等 。翻译：Wendy 翻译链接：https://blog.csdn.net/Wendy_WHY_123/

Ⅶ 借助传统和量子硬件实现 AI 加速

在某些领域中，物理学可以通过其他方法为机器学习做出贡献，而不是用于理论研究和领域特定问题的工具。新型硬件平台可以帮助建立昂贵的信息处理管道，并扩展CPU和GPU的数量限制功能。这种硬件帮助程序也称为“ AI加速器”，物理研究必须提供各种可能增强机器学习的设备。

A 超越冯·诺依曼架构

当谈到计算机时，我们通常会想到基于电路和布尔逻辑的通用数字计算机。这就是现代计算的所谓“冯·诺依曼”范式。但是，任何物理系统都可以解释为处理信息的一种方式，即通过将实验装置的输入参数映射到测量结果即输出。这种思维方式与模拟计算的思想非常接近，而模拟计算机的数字表亲已经使模拟计算的想法实现，见（Ambs，2010；Lundberg，2005）。

但是，在必须反复执行低精度计算的机器学习环境中，模拟和专用计算设备引起了新的兴趣。硬件可用于仿真完整的模型，例如神经网络启发的芯片（Ambrogio等人，2018），或者它只能外包计算的子程序，如现场可编程门阵列（FPGA）和 用于快速线性代数计算的专用集成电路（ASIC）（Jouppi等人，2017; Markidis等人，2018）。

在下文中，我们将提供来自各个研究方向的精选例子，以研究来自物理实验室的硬件平台（例如光学，纳米光子学和量子计算机）如何成为新型的 AI 加速器。

B 光学中的神经网络

用光学技术代替全硅计算机处理信息是自然而吸引人的代方案，或者至少是一种补充。因为它速度快，可以大规模并行，并且功耗非常低。光学互连已经很普遍，可以在短距离或长距离上传送信息，但是也可以利用光干涉特性来提供更高级的信息处理。

在机器学习的情况下，还有一个额外的好处。光学实验室中的一些标准构件与神经网络处理信息的方式有着惊人的相似之处（Killoran等人，2018; Linet等人，2018; Shenet等人，2017），这绝非新意（Lu 等人，1989）。大型体光学实验和片上纳米光子学的一个例子是干涉仪网络。干涉仪是由分束器和移相器组成的无源光学元件（Clements等，2016；Reck等，1994）。

如果我们将光模式的振幅视为输入信号，则干涉仪会有效地对输入信号进行酉变换（请参见图8-1）。放大或衰减振幅可以理解为应用对角矩阵。因此，通过奇异值分解，被两个干涉仪夹在中间的放大器对编码为光振幅的数据进行任意矩阵乘法。添加非线性操作（通常是实验室中最难精确控制的操作）可以将设备变成标准神经网络层的模拟器（Lin等人，2018; Shen等人，2017）。其速度是光速。

图8-1 干涉仪和放大器等光学元件可以模拟一个神经网络，将输入x 映射到\varphi(Wx) ,其中W 是可学习的权重矩阵，\varphi 是一个非线性激活函数。利用位移、压缩等量子光学元件，可以将信息编码成光的量子性质，将神经网络转化为通用量子计算机。

这里一个有趣的问题是：我们能够使用量子代替传统的光？例如，假设现在信息以电磁场的正交编码。正交非常类似于量子粒子的位置和动量，是将光描述为量子系统的两个非平衡算符。现在，我们必须将设置交换为压缩器和置换器等量子光学组件，并获得以光的量子特性编码的神经网络（Killoran等人，2018）。

但是还有更多的东西：使用多层，并选择“非线性操作”作为“非高斯”分量（例如光学“ Kerr非线性”，这仍然是一项实验挑战），光学装置已成为通用量子计算机。这样才是真正的量子神经网络，它可以运行量子计算机可以执行的任何计算。量子光学神经网络还有其他变体，例如信息被编码为离散的而不是光特性的连续变量（Steinbrecher 等，2018）。探索这些量子设备对机器学习意味着什么的工作，例如数据中是否存在可以更容易识别的模式，才刚刚开始。

C 揭示数据中的特征

我们可以只在物理设备上实现机器学习模型的一部分，而不是在物理硬件上实现完整的机器学习模型。在这里我们重点关注的第二个例子是数据预处理或特征提取。这包括将数据映射到另一个被压缩或“爆炸”的空间，都揭示了其用于机器学习算法的特征。

一种使用物理设备进行数据压缩或扩展的方法是利用许多机器学习算法的统计本质。多次光散射会产生随机嵌入所需的非常高的尺寸随机性（请参见图8右上）。简而言之，一组向量与同一随机矩阵相乘后距离是近似保持的（Johnson和Lindenstrauss，1984）。在压缩感知的精神（Donoho，2006）下，这可用于降维，即数据压缩，或用于具有局部敏感哈希的有效最近邻搜索。

这也可以用于维数扩展，在高维的限制下，它近似一个良好定义的内核（Saade等人，2016）。这样的设备可以内置于自由空间光学器件中，并具有相干激光源，商用光调制器和 CMOS 传感器以及选择好的散射材料（见图8-2）。机器学习的应用范围包括深度神经网络的迁移学习，使用带回环路的时间序列分析实现回声状态网络（Dong等人，2018）或跳点检测（Keriven等人，2018） 。对于高维数据，这些设备在速度和功耗上都已超过 CPU 或 GPU。

图8-2 基于光学处理单元的随机嵌入。数据通过空间光调制器（这里是数字微镜装置）编码到激光束中，然后扩散介质产生随机特征。

D 量子增强机器学习

量子机器学习是一个量子信息与智能数据挖掘的交叉研究领域。（Biamonte等人，2017；Schuld and Petruccione，2018b）。许多这方面的研究关注近程量子硬件应用于学习任务（Perdomo-Ortiz等，2017）。这些噪声中尺度量子（NISQ）设备不仅有希望在速度方面增强机器学习应用，而且可能会带来受量子物理学启发的全新算法。上面我们已经提到了一个这样的例子，一个量子神经网络可以模仿甚至超越经典的神经网络。该模型属于一类较大的变分或参数化量子机器学习算法（McClean等，2016; Mitarai等，2018）。其想法是使量子算法（以及实现量子计算操作的设备）的参数\theta 可以用数据训练。“训练好的设备”上的测量代表了新的输出，例如人工生成的生成模型的数据样本，或有监督分类器的分类结果。

另一个使用量子计算机来增强机器学习的想法是受内核方法（Hofmann等人，2008）启发，如图8-3所示。通过将量子算法的参数与输入数据样本x 相关联，将x 嵌入到希尔伯特空间中向量所描述的量子态|\Psi(x)\rangle （Havlicek等人，2018; Schuld and Killoran，2018）。一个简单的干涉程序可以测量用这种方法制备的两个量子态之间的重叠。重叠是希尔伯特空间中向量的内积。在机器学习领域中，这被称为内核，即两个数据点之间的距离度量。量子计算机可以计算出相当奇特的内核，这些内核是传统方法很难处理的，因此，为机器学习任务寻找有趣的量子内核成为了一个活跃的研究领域。

图8-3 量子计算机可以用来计算数据点之间的距离，或“量子核”。量子算法的第一部分使用程序S_x ，S_{x'} 将数据嵌入Hilbert空间。而第二部分揭示嵌入向量的内积。这种核可以用支持向量机等标准核方法进一步处理。

除了量子内核和变分电路之外，量子机器学习还提出了许多其他使用量子硬件作为AI加速器的想法，例如，作为训练和推理概率图模型的采样器（Adachi和Henderson，2015年；Benedetti等人，2017年），或者用于线性代数计算（Lloyd等人，2014）。另一个有趣的研究领域是研究量子装置如何直接分析量子实验产生的数据，而无需绕道测量（Cong等人，2018）。在所有这些探索中，最大的挑战是当今 NISQ 设备仍然存在严重的局限性。这些局限性将硬件上的数值实验简化为原理证明的演示，而众所周知理论分析在机器学习中仍然是困难的。

E 展望和挑战

上面的例子展示了物理研究如何有助于机器学习的方式，即通过研究新的硬件平台来执行一些计算。标准的冯·诺依曼技术已难以跟上摩尔定律的步伐，但这为新颖的计算范式带来了许多机会。在最简单的实施例中，采用专用加速器设备插入标准服务器并通过自定义 API 进行访问。未来的研究将重点放在此类硬件功能的扩展，硬件启发式的机器学习创新，适应的编程语言以及用于在这些混合服务器上优化计算任务分配的编译器上。

Ⅷ 结论与展望

在回顾了机器学习在物理的不同学科中的使用或已经增强了它们的不同学科之后，许多重要研究主题变得显而易见。首先，很明显近年来对机器学习技术的兴趣突然激增。统计物理学和高能物理学等与机器学习技术有着悠久历史的领域中也是如此。我们正在看到研究从对实验模拟模型的探索性研究转向使用真实的实验数据。我们也看到了对这些方法和情况的理解和局限性的发展，其中可以从理论上证明性能。对机器学习的潜在力量和局限性的健康和批判性的参与包括分析这些方法的突破点和它们明显不擅长的地方。

众所周知，物理学家渴望非常详细地了解其方法为何有效以及何时有效。随着机器学习被整合到物理学家的工具箱中，可以合理地预期物理学家可能会阐明机器学习面临的一些非常困难的问题。具体而言，物理学家已经在促进可解释性，验证或保证结果的技术以及选择神经网络体系结构各种参数的原则方法方面做出了贡献。

物理学可以从机器学习领域中学到很多东西的一个方向是共享代码和开发精心设计的高质量基准数据集的文化和实践。此外，物理学将很好地模拟开发关键方法的用户友好和可移植实现的实践，最好在专业软件工程师的参与下进行。

从第一个成功案例的活动水平和热情中浮现出来的画面是：机器学习和物理科学之间的相互作用还处于起步阶段。我们可以预期，机器学习和物理科学之间的相互作用将产生更令人兴奋的结果。