ICML 2024 | 冷静看待大型语言模型在材料发现中的作用

DRUGAI

今天为大家介绍的是来自Geoff Pleiss团队的一篇论文。自动化是当代材料发现的基石之一。贝叶斯优化（BO）是这种工作流程中的重要部分，使科学家能够利用先验领域知识高效地探索庞大的分子空间。尽管这些先验知识可以采取多种形式，但围绕大型语言模型（LLM）所包含的辅助科学知识有着显著的关注。然而，现有的工作迄今为止仅探讨了LLM在启发式材料搜索中的应用。实际上，最近的研究从点估计的非贝叶斯LLM中获得了不确定性估计，这是BO的核心部分。在本研究中，作者探讨了LLM是否真的有助于加速分子空间中基于原则的贝叶斯优化。作者采取冷静而客观的态度回答这一问题。具体来说，通过（i）将LLM视为标准但基于原则的BO代理模型的固定特征提取器，以及（ii）利用参数高效的微调方法和贝叶斯神经网络来获得LLM代理模型的后验分布。作者通过真实化学问题的广泛实验表明，LLM在分子BO中是有用的，但前提是它们经过了领域特定数据的预训练或微调。

材料发现是一个本质上繁琐且迭代的过程，包括设计材料候选物、进行实验准备、测试其性质，最终更新最初的设计假设。虽然在过去的一个世纪中人类研究人员主要推动了这一过程，但面对与医疗、营养或清洁能源相关的紧迫社会挑战，迫切需要更高效的自动化方法。与发现过程相关的主要挑战包括材料结构与其性质之间复杂且如同黑箱的映射关系，以及设计空间的广阔性。为了解决上述问题，贝叶斯优化（BO）在化学领域的应用越来越广泛。成功的BO的关键组成部分包括其先验知识（信息性先验意味着在有限数据下高效的后验推断）和其概率代理模型（例如，通过高斯过程或贝叶斯神经网络）。

然而，为构建准确的不确定性估计所需的良好先验很难通过分析方式定义。因此，通常使用通过预训练特征提取器获得的隐式先验。最近，大型语言模型（LLM）在许多传统上与自然语言处理相对独立的领域中变得非常流行，例如生物学、教育、法律和化学。另一方面，最近的研究警告说，LLM不一定真正理解事物，而只是作为非常昂贵的“随机鹦鹉”（图1）。

图1

尽管如此，由于LLM的明显能力，一些最近的研究利用现成的LLM，如GPT-4，用于分子贝叶斯优化和超参数调整。然而，它们的不确定性估计仅通过启发式方法获得，例如从生成答案令牌的softmax概率中得到，这些都是来自点估计的非贝叶斯LLM。因此，这些非贝叶斯不确定性可能并不适合对BO至关重要的探索与利用权衡。

实验设置

算法1

分子贝叶斯优化的伪代码如算法1所示。作者在以下数据集上评估所考虑的模型，这些数据集代表了分子材料发现中的现实问题集：(i) 最小化可能的液流电池电解质的氧化还原电位 (redoxmer) 和 (ii) 溶解能 (solvation)，(iii) 最小化用于药物发现的激酶抑制剂的对接评分，(iv) 最大化激光的荧光振荡强度，(v) 最大化光伏材料的功率转换效率 (PCE)，以及 (vi) 最大化有机光开关的π-π*跃迁波长。对于上述每个虚拟分子库，原作者进行了基于物理的模拟，本文作者在此将其作为真实值 f(x)。请注意，这些问题集涵盖了一系列不同的分子物理特性，因此代表了一组多样化的分子设计任务。

作者使用以下标准的非LLM、化学特定的基线模型：1024位摩根指纹作为化学特定（非学习）算法向量化方案，以及预训练的MolFormer transformer的特征向量。同时，对于通用LLM，作者使用了各种近期不同大小的架构：T5-Base，GPT2-Medium，以及LLAMA-2-7B。最后，作者使用Christofidellis等的工作来代表领域特定的LLM。

对于基于文本的代理模型，作者另外考虑了几种提示函数 c(x)，将分子 x映射为一句话。它们包括：(i) just-smiles，仅包含 x 的SMILES表示，(ii) completion，将预测的 f(x)作为句子的补充部分，(iii) naive，直接询问LLM关于 f(x)的值，以及 (iv) single-number，在naive的基础上增加一个额外的指令，要求LLM仅输出数字。除非明确指定，否则作者默认使用的提示是just-smiles。

预训练过的LLM有用到什么程度？

图2

首先，作者研究了LLM在未经微调的情况下进行贝叶斯优化的能力。为此，作者将LLM视为固定特征提取器：给定一个预训练的LLM，移除其语言建模头，并获得函数φW∗，将分子x的文本上下文c(x)映射到其最终的transformer嵌入向量，然后可以应用代理模型g（如高斯过程或贝叶斯神经网络，见图2）。

作者在固定的LLM和非LLM特征上使用了两种常用的代理模型：(i) 对指纹特征和LLM/MolFormer特征分别使用Tanimoto核和Matérn核的高斯过程（GPs）（Griffiths等，2023），以及(ii) 使用每层包含50个隐藏单元的3层ReLU神经网络，并进行拉普拉斯近似。作者在整个过程中使用Thompson采样，因为它是通用的，并且在化学应用中越来越受欢迎。

图 3

作者在图3中展示了第一组结果。首先，作者注意到在指纹特征上，拉普拉斯近似（LA）在大多数问题上都具有竞争力，甚至优于高斯过程（GP）。因此，作者仅将LA作为LLM特征的代理模型。作者注意到，与简单的指纹基线模型相比，通用LLM（T5、GPT2-M和LLAMA-2-7B）获得的特征表现较差。这表明，尽管通用LLM似乎如图1所示“理解”化学，但这些LLM编码的特征对于化学专注的贝叶斯优化来说信息量较少。需要注意的是，尽管在作者的特定问题设置中得出这一结论，但LLM似乎对更一般的问题是有用的。

同时，化学专用的transformer特征（T5Chem，MolFormer）通常比通用的特征更适合。实际上，T5-Chem特征在大多数问题中提供了最佳性能。值得注意的是，T5-Chem在大多数情况下也优于非LLM的化学专用transformer MolFormer。T5-Chem模型比MolFormer更大（220M参数对44M参数），然而，MolFormer使用更多的数据进行训练（100M对33M）。因此，似乎自然语言专注的T5-Chem在贝叶斯优化方面提供了比MolFormer中非自然语言transformer更好的归纳偏置。作者得出了一个结论：领域特定的LLM在分子贝叶斯优化中作为特征提取器非常有用。它们通常优于通用LLM和化学专用的传统指纹特征。

图 4

除了单目标问题外，作者还进行了多目标贝叶斯优化实验，包括：(i) 在上述液流电池问题中结合两个目标，(ii) 在激光问题中增加一个额外的最大化目标（电子间隙）。作者分别将这些问题称为multi-redox和multi-laser。为了适应额外的目标，作者将这些问题转换为多输出回归问题——对于每个x，g(x)的后验分布因此为多变量高斯分布，结果如图4所示。作者发现，基于化学专用transformer的模型（MolFormer，T5-Chem）优于通用模型（T5）。此外，T5-Chem的表现略优于MolFormer：在multi-laser问题上表现更好，而在multi-redox问题上表现相似。因此，作者的结论与单目标实验中的结论一致。

图 5

作者在图5中展示了提示（prompt）如何影响贝叶斯优化性能的结果。提示确实产生了差异：与通用LLM（T5，LLAMA-2-7B）不同，化学专用的T5Chem在提示仅为SMILES字符串时效果最好。不过，作者注意到T5-Chem在大多数问题和所有提示下都取得了最佳表现。因此，化学专用的T5-Chem在不需要进行提示工程的情况下，提供了更好的贝叶斯优化性能。作者此处得出的结论是：提示确实会影响贝叶斯优化的性能。最好使用与预训练LLM时所用提示相近的提示。

微调后的LLM有用到什么程度？

图 6

在图6中，作者展示了对T5和T5Chem进行微调的结果，它们分别代表了通用和化学专用的LLM。作者发现微调确实对这两种情况都有好处。注意到，与固定特征版本相比，微调在大多数问题上提高了贝叶斯优化的性能。另一方面，也要注意到，在某些情况下，微调并没有显著改善未微调版本的性能。此外，在一个问题（光伏材料）中，作者发现微调降低了T5-Chem的性能。作者认为这可能是因为他们在所有问题上使用了相同的超参数（如学习率、权重衰减等），这更接近实际操作：人们通常只使用由软件包（如BoTorch, Balandat等，2020）提供的BO算法的默认超参数。无论如何，令人鼓舞的是，微调在大多数BO问题上通常表现良好，即使使用默认超参数。

编译|黄海涛

审稿|曾全晨

参考资料

Kristiadi, A., Strieth-Kalthoff, F., Skreta, M., Poupart, P., Aspuru-Guzik, A., & Pleiss, G. (2024). A Sober Look at LLMs for Material Discovery: Are They Actually Good for Bayesian Optimization Over Molecules?. arXiv preprint arXiv:2402.05015.