机器学习与物理科学 | 量子多体物质

这是2019年12月6日发表在顶级期刊《现代物理评论》上的综述文章“Machine learning and the physical sciences”。作者为Giuseppe Carleo ，Ignacio Cirac等 。 翻译：Wendy 翻译稿链接：https://blog.csdn.net/Wendy_WHY_123/article/details/104825788

Ⅳ.量子多体物质

量子力学的内在概率性质使该领域的物理系统成为有效的无限大数据源，是机器学习应用的一个极具吸引力的领域。一个这种概率性质的范例是量子物理学中的测量过程。绕核运动的电子的位置\rm{r} 只能根据测量结果大致推断。无限精确的经典测量设备只能用于记录对电子位置的特定观察结果。最终，由波函数\Psi(\rm {r}) 给出了测量过程的完整表征，其平方模最终定义了在空间中给定位置观察电子的概率P(\rm {r})=|\Psi(\rm {r})|^2 。

在单个电子的情况下，有效地执行了P(\rm {r}) 的理论预测和实验推断。而在许多量子粒子的情况下，情况变得更加复杂。例如，观察到的N 个电子的位置概率分布为P(\rm{r}_1,\dots,\rm{r}_\mathit{N}) 本质上是一个高维函数，当N 大于几十时就很少能准确确定。估计P(\rm{r}_1,\dots,\rm{r}_\mathit{N}) 的指数难度本身是估计复值多体振幅\Psi(\rm{r}_1,\dots,\rm{r}_\mathit{N}) 的直接结果，通常被称为量子多体问题 。量子多体问题在各种情况下都表现出来。这些最重要的功能包括复杂量子系统（大多数材料和分子）的理论建模和模拟，而通常仅提供近似的解决方案。

量子多体问题的其他非常重要的表现形式包括对实验结果的理解和分析，尤其是与物质的复杂相有关。在下文中，我们讨论了一些 ML 应用，这些应用着重于缓解一些具有挑战性的量子多体问题带来的理论和实验问题。

A.神经网络在量子态上的应用

神经网络量子态（NQS）用人工神经网络（ANN）表示多体波函数。通常采用的选择是将波函数振幅参数化为前馈神经网络：

与等式（2）中引入的符号类似。

早期工作主要集中在浅层网络上，最著名的是受限玻尔兹曼机(RBM)。隐藏单元取值为\{±1\} 且在可见单元上没有偏差的 RBM 对应于深度L = 2 的前馈全连接神经网络(FFNN)，且激活函数为\mathit{g}^{(1)}(x)= \mathrm{\log \cosh}(x),\mathit{g}^{(2)}(x)= \mathrm{\exp}(x) 。与RBM应用在无监督学习概率分布的一个重要区别是，当用作NQS时，RBM状态通常具有复数权重。最近的工作对更深的体系结构进行了不断的研究和介绍。例如，基于完全连接的NQS和卷积深度网络，如图4所示的例子。使用深度FFNN网络的一个动机是因为深度学习在工业中的成功应用，也因为在量子物理中的更一般的理论。例如，研究表明在量子纠缠方面，深度NQS方法比 RBM 更有效。NQS 表示的其他扩展涉及密度矩阵描述的混合状态的表示，而不是纯波函数。在这种情况下，可以定义密度矩阵的正定 RBM 参数。

量子领域中出现的具体挑战之一是在 NQS 表示中强加物理对称性。在物质的周期性排列的情况下，可以使用类似于图像分类任务中所使用的卷积结构来施加空间对称性。也有一些工作在不同对称扇区中选择高能态。虽然空间对称性在其他 ML 应用中具有类似的对应关系，但要满足更多涉及的量子对称性，通常需要对 ANN 架构进行深刻的反思。在这种意义上，最显著的情况是交换对称性。对于玻色子，这相当于使波函数相对于粒子指数的交换是置换不变的。

Bose-Hubbard模型已被用作 ANN 玻色模型结构的基准，并获得了最新的结果。但是，最具挑战性的对称性肯定是费米离子对称性。在这种情况下，NQS 表示需要对波函数的反对称性进行编码（例如，交换两个粒子位置会符号转变）。在这种情况下，已经探索了不同的方法，主要是针对现有的费米子变体ansatz进行扩展。校正反对称相关部分的对称RBM波函数已用于研究二维相互作用的晶格费米子（Nomura 等，2017）。其他方法通过对Slater行列式进行后向转换来解决费米子对称性问题（Luo和Clark，2018），或者直接在第一次量化中起作用（Han等人，2018a）。由于对称性的特殊性质，目前对于 ML 方法来说，费米子的情况无疑是最具挑战性的。在应用方面，到目前为止，NQS 表示已沿三个主要的不同研究领域使用。

1.表示理论(Representation theory)

与其他变异状态族相比，研究的活跃领域涉及NQS的一般表达能力。关于NQS表示性质的理论活动旨在了解描述有趣的相互作用量子系统的神经网络的大小和深度。结合以RBM状态获得的第一个数值结果，很快就发现纠缠是NQS表达能力的可能候选者。例如，RBM状态可以有效地支持体积定律校准（Deng等人，2017b），其中许多变参数仅随系统大小按多项式缩放。在这个方向上，张量网络的语言在阐明NQS的某些特性方面特别有用（Chen等人，2018b; Pastori等人，2018）。已显示基于RBM状态的NQS家族等同于称为相关乘积-状态的某些变异状态家族（Clark，2018; Glasser 等，2018a）。但是，确定属于NQS形式方程式（3）和计算有效的张量网络的各个量子态的类别的问题仍然存在。物质的几个有趣阶段的精确表示，包括拓扑状态和稳定器代码（Deng等人，2017a; Glasser等人，2018a; HuangandMoore，2017; Kaubrueggeret等人，2018; Lu等人，2018; Zheng等人 （2018年）。不足为奇的是，考虑到其深度较浅，RBM体系结构也普遍受到限制。具体而言，通常不可能以紧凑的RBM状态来写所有可能的物理状态（Gao和Duan，2017年）。还引入了类似的网络结构作为可能的理论框架，以替代量子力学的标准路径-积分表示形式（Carleo 等，2018）。

2.从数据中学习 (Learning from data)

与了解NQS的理论性质的活动并行，该领域的一系列研究涉及以下问题：了解在实践中很难从数值数据中学习量子态。这可以使用合成数据（例如来自数值模拟的数据）或直接通过实验来实现。

在有监督的学习环境中探索了这一研究领域，以了解NQS可以如何很好地表示不容易以ANN形式表达（以封闭分析形式表示）的状态。然后，目标是训练NQS网络|\Psi\rangle ，以尽可能接近地表示可以有效计算其幅度的某个目标状态|\Phi\rangle 。该方法已成功用于学习费米离子，沮丧的和玻色的哈密顿量的基态（Cai和Liu，2018）。这些代表了有趣的研究案例，因为目标波函数的符号/相位结构可能对FFNN中使用的标准激活函数构成挑战。同样，有人提出了一种监督方法来学习具有浅NQS的随机矩阵乘积状态波函数（Borin和Abanin，2019），以及具有可计算处理的DBM形式的广义NQS（Pastori等，2018）。在后一种情况下，这些研究显示了进行学习的有效策略，而在前一种情况下，已显示出学习一些随机MPS的难度。目前，推测此硬度源自随机MPS的纠缠结构，但是尚不清楚这是否与NQS优化景观的硬度或浅NQS的固有限制有关。

除了对给定量子态的有监督学习之外，使用NQS的数据驱动方法还主要集中在无监督方法上。在此框架中，只有来自某些目标状态|\Phi\rangle 或密度矩阵的测量可用，并且目标是使用此类测量以NQS形式重建完整状态。在最简单的设置中，给定一个数据集，该数据集根据Born规则处方P(r)=|\Phi(r)|^2 分布M个测量值\rm(r)^{(1)},\dots,\rm(r)^{(M)} ，其中P(r) 为待重建。在波函数为正定的情况下，或者仅提供特定基础上的测量值的情况下，使用标准无监督学习方法重建P(r) 足以重建基础量子态\Phi 上的所有可用信息。例如，已使用基于RBM的生成模型对随机哈密顿量的基态（Torlai等人，2018）证明了这种方法。在一系列经典的难以从量子态采样的案例中，也证明了基于深度VAE生成模型的方法（Rocchetto等人，2018），对于这种证明网络深度对压缩的效应。

在更一般的情况下，问题是要使用来自多个量子数基础的测量结果来重构纯或混合的一般量子态。这些对于重新构造量子态的复数相特别重要。该问题对应于量子信息中的一个众所周知的问题，称为量子状态层析成像，为此已经引入了特定的NQS方法（Carrasquilla等，2019；Torlai等，2018；Torlai和Melko，2018）。在专用的第V.A节中，还将结合用于此任务的其他ML技术，对这些内容进行更详细的讨论。

3.变分学习 (Variational Learning)

最后，NQS表示的主要应用之一是在多体量子问题的变分近似中。这些方法的目标是，例如，使用NQS表示法来近似求解薛定谔方程方程。在这种情况下，找到一个给定的量子哈密顿量H的基态的问题用变分形式表述为学习NQS权重

\mathit{W}使 \mathit{E(W)} = \langle\Psi(W)| H |\Psi(W)\rangle/\langle\Psi(W)|\Psi(W)\rangle 最小的问题。这是使用 基于变分蒙特卡洛优化的学习方法 来实现的（CarleoandTroyer，2017）。在该应用系列中，没有给出表示量子态的外部数据，因此与NQS的有监督和无监督的学习方案相比，它们通常需要更大的计算负担。

各种自旋的实验（Choo等人，2018; Deng等人，2017a; Glasser等人，2018a; Liang等人，2018），bosonic（Chooet等人，2018; Saito，2017,2018; Saito和Kato，2017年）和铁离子（Han等人，2018a; Luo和Clark，2018年; Nomuraet等人，2017年）模型表明，可以获得与现有最先进方法竞争的结果。在某些情况下，已经证明了对现有变分结果的改进，尤其是对于二维晶格模型（Carleo和Troyer，2017年; Luo和Clark，2018年; Nomura等人，2017年）以及物质的拓扑阶段（Glasser等人，2017年） 等人，2018a；Kaubruegger等人，2018）。

其他NQS应用涉及时间依赖的Schrödinger方程的解（Carleo和Troyer，2017年; Czischek等人，2018年; Fabiani和Mentink，2019年; Schmitt和Heyl，2018年）。在这些应用中，人们使用狄拉克（Dirac）和弗伦克尔（Frenkel）的时间相关变分原理（Dirac，1930; Frenkel，1934）来学习网络权重的最佳时间演化。这也可以适当地推广到开放的耗散量子系统，为此可以实现Lindblad方程的变分解（Hartmann和Carleo，2019年; Nagy和Savona，2019年; Vicentini等人，2019年; Yoshioka和Hamazaki，2019年） 。

在这里讨论的绝大多数变体应用中，使用的学习方案通常是比标准SGD方法更高阶的技术。随机重构（SR）方法（Beccaand Sorella，2017；Sorella，1998）及其对时间依赖情况的推广（Carleo等，2012）已被证明特别适合NQS的变分学习。SR方案可以看作是用于学习概率分布的自然梯度方法（Amari，1998）的量子模拟，它建立在与神经网络参数相关的内在几何上。最近，为了不使用比最初采用的网络更深入，更具表现力的网络，基于一阶技术的学习方案得到了更一致的使用（Kochkov和Clark，2018；Sharir等，2019）。这些构成了解决同一问题的两种不同哲学。一方面，早期的应用程序侧重于通过非常准确但昂贵的训练技术学习的小型网络。另一方面，后来的方法集中在更深的网络和更便宜但又不太准确的学习技术上。以计算有效的方式将这两种哲学相结合是该领域面临的开放挑战之一。

B.加快多体模拟

在量子多体问题领域中使用ML方法已远远超出了量子态的神经网络表示。研究相互作用模型的有效技术是量子蒙特卡洛（QMC）方法。这些方法通过映射到有效的经典模型（例如，借助路径积分表示）来随机计算量子系统的属性。由贴图程序得出的一个实用问题，即提供有效的高维空间采样方案（路径积分，扰动序列等），需要仔细进行调整，通常取决于问题。因此，为这些表示设计通用采样器是一个特别具有挑战性的问题。但是，无监督的ML方法可以用作加快经典和量子应用程序蒙特卡洛采样的工具。已经提出了在该方向上的几种方法，并且利用无监督学习的能力很好地近似了从基础蒙特卡洛方案中采样的目标分布。相对简单的基于能量的生成模型已用于古典系统的早期应用中（Huang和Wang，2017; Liu等，2017b）。然后，“自学习”蒙特卡洛技术也已推广到费米离子系统（Chen等，2018a；Liu等，2017c；Nagai等，2017）。总的来说，已经发现这种方法在减少自相关时间方面是有效的，特别是与效率较低的马尔可夫链蒙特卡洛族和本地更新的族相比。最近，采用了最新的生成ML模型来加快特定任务中的采样速度。值得注意的是（Wu等，2018）使用了深度自回归模型，该模型可以使自旋玻璃等经典难题更有效地采样。寻找潜在的经典模型的有效抽样方案的问题随后被转化为寻找有效的相应自回归深度网络表示的问题。在（Sharir 等，2019）中，这种方法也已经推广到量子情况，其中引入了 波函数的自回归表示。该表示自动归一化，并允许在上述变分学习中绕过马尔可夫链蒙特卡洛方法。

QMC技术虽然适用于大量的玻色子和自旋系统，但在处理几种有趣的铁离子模型以及沮丧的自旋哈密顿量时，通常会引起严重的信号问题。在这种情况下，很容易使用ML方法来尝试直接或间接减少符号问题。虽然仅在第一阶段，但该系列应用程序已被用来通过格林函数中的隐藏信息来推断有关铁离子相的信息（Broecker等人，2017b）。

同样，机器学习技术可以帮助减轻量子模型动力学特性中符号问题更细微表现的负担。特别是，从虚数时间相关性重构频谱函数的问题也是一个领域，其中ML可以用作传统最大熵技术的替代方法，以执行QMC数据的解析连续性（Arsenault等人，2017年） ; Fournier等人，2018; Yoon等人，2018）。

C.多体量子相位分类

多体量子态的复杂性所带来的挑战以许多其他形式表现出来。特别是，在数值模拟和实验中，难以确定和查明量子物质的几个难以捉摸的阶段。由于这个原因，用于识别物质相的ML方案在量子相的背景下变得特别流行。在下文中，我们将回顾量子域的某些特定应用，而有关识别相和相变的更一般的讨论将在II.E中找到。

1.合成数据 (Synthetic data)

继有监督方法在相分类的早期发展（Carrasquilla and Melko，2017; Van Nieuwenburg等，2017; Wang，2016）之后，许多研究从那时起就着重于对合成数据中的物相进行分析，主要是通过量子系统模拟。尽管我们在这里不尝试详尽地回顾朝这个方向出现的许多研究，但我们着重介绍了两个大的问题系列，这些问题到目前为止在很大程度上已成为新的机器学习工具的基准。

量子多体定位的第一个具有挑战性的阶段分类方案是试验台。这是一个难以捉摸的阶段，显示了多体波函数本身的特征指纹，但不一定从更传统的阶次参数中浮现出来[例如，有关该主题的最新评论，请参见（例如，Alet和La fl orencie，2018年）。该方向上的最初研究集中于 针对哈密顿或纠缠光谱的训练策略（Hsu等人，2018; Huembeli等人，2018b; Schindler等人，2017; Venderley等人，2018; Zhang等人。，2019）。这些工作证明了在相对较小的系统中通过精确的对角化技术可以有效地学习MBL相变的能力。相反，其他研究着重于 直接在实验上相关的量中识别特征，特别是从局部量的多体动力学中发现特征（Doggen等，2018; van Nieuwenburg等，2018）。目前，后一种方案似乎是最有希望的应用实验，而前者已被用作在相关疾病存在时识别意外阶段存在的工具。

分析物质的拓扑阶段时会发现另一类非常具有挑战性的问题。这些在很大程度上被认为是ML计划的一项重要测试，因为这些阶段通常以非本地顺序参数为特征。反过来，对于用于图像的流行分类方案来说，很难学习这些非局部顺序参数。当分析具有拓扑相变的经典模型时，已经存在该特定问题。例如，在存在BKT型过渡的情况下，在原始蒙特卡洛配置上训练的学习方案是无效的（Beachet等，2018；Hu等，2017）。

这些问题可以通过使用预先设计的功能（Broecker等人，2017a; Cristoforetti等人，2017; WangandZhai，2017; Wetzel，2017）而不是原始蒙特卡罗样本来设计训练策略来规避。这些特征通常依赖于要寻找的相变性质的一些重要的先验假设，从而在寻找物质的新相时会降低其有效性。在量子世界的更深处，沿着 有监督的方式，拓扑不变性学习 的方向开展了研究活动。可以使用神经网络对非交互拓扑哈密顿主义者的族进行分类，例如使用离散的系数（不真实的（Ohtsuki和Ohtsuki，2016,2017）或动量空间（Sun等，2018; Zhang等，2018c）作为输入。在这些情况下，发现神经网络能够重现（已经预先已知的）拓扑不变量，例如绕组数，贝里曲率等。与非相互作用谱带模型的情况相比，高度相关的拓扑物质的上下文在很大程度上更具挑战性。在这种情况下，一种常见的方法是 在原始数据之上定义一组经过精心设计的功能。

一个众所周知的例子是所谓的量子环地形学（ZhangandKim，2017），它是对本地操作员进行训练的，该操作员是根据采样波函数助行器的单次镜头计算得出的，例如在变体蒙特卡洛中所做的。研究表明，这种对局部特征的非常具体的选择能够区分相互作用强烈的分数Chern绝缘子以及Z2量子自旋液体（Zhang等，2017）。已经实现了类似的方法来对物质的更多奇异相进行分类，包括磁性天sky相（Iakovlev等，2018）和反天rm动力学中的动力学状态（Ritzmann等，2018）。

尽管到目前为止在这里描述的多个方向上都取得了进步，但是可以说，物质的拓扑阶段，尤其是对于相互作用的系统，是构成阶段分类的主要挑战之一。虽然已经取得了一些良好的进展（Huembeli等，2018a; Rodriguez-Nieva和Scheurer，2018），但未来的研究将需要解决不依赖于数据特征预选的训练方案的问题。

2.实验数据 (Experimental data)

除了对数值模拟的数据进行广泛研究以外，受监督的方案还发现了它们作为分析量子系统实验数据的工具的方式。在超冷原子实验中，有监督的学习工具已被用来绘制非相互作用粒子的拓扑相以及有限光阱中Mott绝缘相的开始（Rem等人，2018）。在这种特定情况下，这些阶段是已知的并且可以用其他方法识别。但是，将先验的理论知识与实验数据相结合的基于ML的技术具有进行真正的科学发现的潜力。

例如，当实验数据必须归因于许多可用的且同样可能的先验理论模型之一，但是手头的实验信息不容易解释时，机器学习可以在有趣的情况下进行科学发现。通常会出现一些有趣的情况，例如，当顺序参数是实验结果的复杂且仅是隐式已知的非线性函数时。在这种情况下，机器学习方法可以用作有效学习给定理论的基本特征的强大工具，并提供可能公正的实验数据分类。高温超导体中不相称的情况就是这种情况，其扫描隧道显微镜图像显示出复杂的图案，而这些图案很难使用常规分析工具进行解读。在这种情况下使用监督方法，最近的工作（Zhang et al。，2018d）表明可以推断这些系统中空间排序的性质，见图5。

类似的想法也已经被用于费米子的另一种原型相互作用量子系统，即哈伯德模型，这是在光学晶格中的超冷原子实验中实现的。在这种情况下，参考模型提供了热密度矩阵的快照，可以通过监督学习的方式对其进行预分类。这项研究的结果（Bohrdt等人，2018）是，实验结果与所提出的一种理论具有良好的一致性，在这种情况下，该理论是针对电荷载流子的几何弦理论。

在上述的最后两个实验应用中，监督方法的结果在很大程度上是非常重要的，并且很难根据现有的其他信息来进行先验预测。然而，由要分类的理论的选择引起的内在偏差是这类方法面临的当前限制之一。

D.用于机器学习的张量网络

目前为止，研究主题主要涉及ML思想和工具在量子多体物理学领域研究问题的使用。作为这种哲学的补充，该领域中一个有趣的研究方向探索相反的方向，研究了量子多体物理学中的思想如何激发和设计出新的强大的ML工具。这些发展的核心是多体量子态的张量网络表示。这些是非常成功的多体波函数变体族，自然地从量子态的低纠缠表示中浮现出来（Verstraete等，2008）。在有监督的和无监督环境中，T张量网络都可以用作ML任务的实用工具和概念工具。

这些方法基于以下思想：提供物理学启发的学习模式和网络结构代替较常规采用的随机学习模式和FFNN网络。例如，矩阵乘积态（MPS）表示是一组用于相互作用的一维量子系统模拟工具（White，1992），已被重新用于分类任务（Liu等，2018; Novikov 等人，2016; Stoudenmire和Schwab，2016），最近还被用作无监督学习的显式生成模型（Han等人，2018b; Stokes和Terilla，2019）。值得一提的是，在应用数学的背景下开发的其他相关高阶张量分解已用于机器学习目的（Acar和Yener，2009；Anandkumar等，2014）。形式上与MPS表示形式等效的张量-列分解（Oseledets，2011）已用作各种机器学习任务的工具（Gorodetsky等，2019; Izmailov等，2017; Novikov等， 2016）。还已经探索了与MPS紧密相关的网络以进行时间序列建模（Guo等人，2018） 。

为了增加在这些低秩张量分解中编码的纠缠量，最近的工作集中在用张量网络表示代替MPS形式。一个著名的例子是使用具有层次结构的树张量网络（Hackbusch和Kühn，2009; Shi等，2006），这些技术已在分类（Liu等，2017a; Stoudenmire，2018）和生成模型 （Cheng等人，2019）任务取得了成功。另一个例子是元格纠缠态使用（Changlani等人，2009；Gendiar和Nishino，2002；Mezzacapo等人，2009）和弦键合状态（Schuch等人，2008），都显示了分类任务的显著改进。超过MPS状态（Glasser et al，2018b）。

从理论上讲，张量网络与量子多体波函数的复杂性度量（例如纠缠熵） 之间的深层联系可用于理解并可能启发成功的ML网络设计。张量网络形式主义已被证明可以通过重归一化组概念来解释深度学习。在这个方向上的开拓性工作已经将MERA张量网络状态（Vidal，2007）连接到分层贝叶斯网络（Bény，2013）。在后来的分析中，卷积算术电路（Cohen 等，2016）是一个具有乘积非线性的卷积网络家族，已经引入了一种方便的模型来将张量分解与FFNN体系结构联系起来。除了它们在概念上的相关性，这些联系可以帮助建立归纳性偏见在现代和普遍采用的神经网络中的作用（Levine等人，2017）。

F.展望与挑战

在过去的几年中，ML在量子多体问题上的应用取得了飞速的发展，涉及从数值模拟到数据分析的各种主题。在这种情况下，机器学习技术的潜力已经浮出水面，相对于针对选定问题的现有技术而言，已经显示出更高的性能。然而，在很大程度上，机器学习技术在该领域的真正力量仅得到了部分证明，还有一些悬而未决的问题有待解决。

例如，在使用NQS进行变分研究的情况下，到目前为止，与其他种类的变分状态家族（如张量网络）一样，对于不同种类的神经网络量子态所获得的经验成功的起源还没有得到很好的理解。费米离子系统的表示和模拟仍然面临着主要的开放挑战，对于它们，仍然需要有效的神经网络表示。

用于ML的张量网络表示形式，以及用于NQS的复数网络，在将领域桥接回计算机科学领域中发挥着重要作用。该研究方向未来的挑战在于有效地与计算机科学界进行交互，同时保留物理工具的兴趣和通用性。

对于机器学习方法用于实验数据的关注，该领域仍处于起步阶段，到目前为止，仅展示了一些应用。这与其他领域（例如高能和天体物理学）形成了鲜明的对比，在后者中，机器学习方法已经发展到一个阶段，在该阶段，它们通常被用作数据分析的标准工具。要在量子领域中实现相同的目标，需要在理论和实验方法之间进行更紧密的协作，并且需要更深入地了解ML可以带来实质性差异的特定问题。

总体而言，鉴于ML方法应用于多体量子物质的时间相对较短，但是有充分的理由相信，这些挑战将在未来几年得到大力解决，其中一些挑战已得到了解决。