优化物理和机器学习之间的协同作用

郭好奇同学

发布于 2021-12-27 16:29:49

3280

发布于 2021-12-27 16:29:49

机器学习和物理学有着长期的紧密联系。1982 年，约翰·霍普菲尔德 (John Hopfield) 建立了一个重要的联系，他将一个由相互作用的粒子组成的物理系统（出现了诸如磁之类的新兴现象）与一个具有自发计算特性的相互作用的神经元网络进行了类比。Hopfield 网络是循环神经网络的先驱，循环神经网络在涉及时间、动态特征的机器学习应用中有广泛的应用。

一个简化的、非常粗糙的能量图，用于蛋白质折叠。

从不同的角度来看，理论物理学有助于我们对机器学习的基础理解。L. G. Valiant 于 1984 年发表的一篇经典论文定下了基调，描述了严格的学习统计理论。

论文地址：

https://dl.acm.org/doi/10.1145/1968.1972

2010 年底以来，随着深度学习的兴起，关于深度神经网络令人惊讶的、不合理的良好性能和泛化能力的进一步问题已经出现。在最近的《Nature Physics》评论中，Lenka Zdeborová 呼吁重新努力以受物理学启发的方法来解决这些问题，并指出物理学家通过搜索可以捕捉问题本质的模型，来处理大量不同范围的实验中的观察结果的经验，忽略许多细节，并通过分析调查进行测试。

论文地址：

https://www.nature.com/articles/s41567-020-0929-2

一个很好的例子是非常成功的磁性 Ising 模型，它不包括任何磁相互作用或材料特性的量子力学细节，但解释了许多不同类型的实验现象。事实上，事实证明 Ising 模型在机器学习中也很有用，因为 Hopfield 的网络可以被转换为神经网络的 Ising 模型。在这个方向上的努力有助于发展对深度学习的理论理解，以及它为何如此有效。

从实际应用的角度来看，有很多机会可以充分利用最先进的机器学习模型，解决物理科学中涉及大量数据的问题，例如流体力学、高能源物理学或天气预报。一个活跃的主题是使用机器学习模型以偏微分方程的形式学习数学规则，这些规则是复杂动态现象（如湍流）的基础。在最近发表在《Nature Reviews Physics》的一篇评论文章中，George Karniadakis 及其同事讨论了将物理学嵌入此类方法的各种方法，以解决从地震预测到分子动力学的复杂动力学问题。

另一个有前途的连接，目前看到很多活动是解决深度学习的优化问题，特别是组合优化问题，必须在一个非常大但有限的可能配置空间中找到最佳解决方案。这个空间的大小随着问题的输入大小呈指数增长，因此使基于搜索的详尽解决方案策略不可行。众所周知的例子是解决魔方、旅行商问题或寻找蛋白质的 3D 结构。Mohammed Hibat-Allah 等人在《Nature Machine Intelligence》发表的一篇文章。提出了一种新的优化方法，融合了经典和量子物理学以及深度学习的概念，特别适用于寻找无序 Ising 系统的基态。

论文地址：

https://www.nature.com/articles/s42256-021-00401-3

在统计物理学中，可以使用称为模拟退火的计算方法来解决优化问题。这是一种启发式过程，其灵感来自冶金中的退火，其中材料被快速加热然后缓慢冷却，以便材料可以在微观尺度上重新排列成具有所需特性的最佳配置。模拟退火算法通过逐渐减少「热波动」来探索能量图以找到其全局最小值。模拟退火，无论是经典公式还是量子公式，都广泛用于优化问题，但「冷却」（减少热波动）以探索优化前景的过程通常是一个缓慢的过程。Hibat-Allah 等人，通过循环神经网络参数化系统状态的联合分布，将模拟退火与所谓的变分方法相结合。这种被称为变分神经退火的新方法显着加快了模拟退火过程。

物理学和机器学习之间可能会有更多富有成效的互动。将机器学习与量子信息方法相结合的前景令人兴奋不已。一个重点是用量子计算机加速机器学习——押注在不久的将来会有可靠的量子硬件。反之亦然，机器学习的概念正在推动量子计算的进步。感兴趣的读者可以在Giuseppe Carleo等人的综合评论文章中找到更多的灵感，或者关注即将到来的机器学习和物理科学的 NeurIPS 研讨会。