NeurIPS2020| 用遗传探索指导深层分子优化

今天给大家介绍的是韩国科学技术学院Sungsoo.ahn等人在NeurIPS2020上发表了一篇名为“Guiding Deep Molecular Optimization with Genetic Exploration”的文章。从头开始的分子设计试图在化学空间中寻找具有理想性质的分子。最近，深度学习作为一种很有前途的解决这一问题的方法得到了相当多的关注。在这篇文章中，作者提出了一个简单而新颖的框架——遗传专家指导学习(GEGL)，该框架通过训练深度神经网络(DNN)产生高回报的分子。作者的主要想法是设计一个遗传专家改进程序，产生高质量的目标，模仿学习的DNN。通过实验表明，GEGL显著改进了最先进的方法。

一、研究背景

1.1 从头分子设计

发现具有理想性质的分子在药物发现和材料设计等方面有着重要的应用。但是因为分子空间很大，这个任务很有挑战性;例如，可合成的类药物化合物的数目估计在1060个左右。为了解决这个问题，从头分子设计的目标是从零开始产生具有理想性质的新分子，而不是直白地在分子空间上罗列。

1.2 分子生成深度神经网络

在过去的几年里，分子生成深度神经网络(DNNs)已经证明了在解决分子设计的生成问题上取得了成功。例如，Gomez-Bombarelli等人在分子生成变量自动编码器的嵌入空间上执行贝叶斯优化以最大化期望的性质。另一方面，Guimaraes等人利用强化学习来训练分子生成策略，并将期望的特性制定为奖励。

1.3 传统遗传算法

有趣的是，最近有几项研究证明，基于遗传算法(GA)的传统框架可以与最近提出的深度学习方法竞争，甚至超过后者。它们揭示了遗传算法是有效的，这要感谢用于探索化学空间的强大的特定领域遗传算子。例如，Jensen通过将现有分子的子图组合在一起生成新的分子，从而达到卓越的性能。这样的观察也强调了领域知识如何在从头分子设计中发挥重要作用。相反，目前基于DNN的方法含蓄地概括高回报分子的信息，并没有明确地利用这些域知识。值得注意的是，DNN的表达能力允许它自己灵活地参数化整个分子空间的分布。

1.4 遗传专家指导学习

在文章中，作者提出遗传专家指导学习(GEGL)，这是一个训练分子生成DNN指导遗传探索的新框架。作者的主要想法(如图1)是通过对DNN生成的分子应用特定领域的遗传操作(变异和交叉)，来制定一个专家策略。然后DNN成为一个学习模仿专家策略所发现的高回报分子的学徒策略。由于专家策略通过设计改进了学徒策略，所以前一个策略始终如一地指导后一个策略产生高回报的分子。

图1. 遗传专家指导学习框架说明

二、模型与方法

2.1 遗传专家指导学习（GEGL）

为了发现高回报的分子，GEGL的目标是训练一个产生分子的深度神经网络(DNN)。特别地，作者设计了一个额外的遗传专家策略框架，它生成神经学徒策略的模仿学习目标，即DNN。该方法的主要思想是将专家策略作为遗传改良算子应用于学徒策略;这允许我们通过模仿更好的专家策略来引导学徒策略生5子x的组合优化，使回报(期望的性质) r(x) 最大化。为了解决这个问题，作者在整个学习过程中，从神经学徒策略 和遗传专家策略 中收集高回报值的分子。其中 θ 表示表示学徒策略的DNN参数，X表示一组将遗传算子应用于专家策略的种子分子。最后，作者引入了固定大小的最大奖励优先队列和，这两个缓冲区只保留固定数量的具有最高奖励的分子。

图2. GEGL框架三步过程

实际上可以将GEGL解释为一种深度强化学习算法。从这个角度来看，响应的马尔可夫决策过程具有一个固定步长，其行为对应于一个分子的生成。

2.2 遗传专家策略

遗传专家策略

是通过将遗传算子(突变和交叉)应用到一组分子X上而产生的分布。作者使用经过优化的遗传操作(带有领域知识)在分子空间上进行搜索；因此，专家策略在探索方面有效地改进了学徒策略。

遗传算子的适当选择对专家策略至关重要。为此，作者选择了基于图的突变和交叉的算法，因为该算法最近在分子设计方面表现出了优异的性能在高层，遗传专家策略

分两步生成一个分子。首先，专家策略通过将交叉应用于从X中随机抽取的一对分子来生成一个子分子。接下来，专家策略以很小的概率通过原子或化学键方面的修改(比如添加一个原子)对子图进行变异。

图3.遗传算子突变（a）与交叉（b）方法举例

需要注意的是，如果直白地应用遗传算子可能导致提出的分子是不稳定的或无法在实际中合成。考虑到这一点，作者考虑了分子化学有效性的勘探操作符。

2.3 神经学徒策略

作者使用长-短期记忆(LSTM)网络来参数化神经学徒策略，并采用简化分子输入进线系统(SMILES)格式。在此设计下，将学徒策略

生成分子的概率分解为

，在这里,

,…，

是对应于给定分子的标准SMILES表示的字符。

但是，作者选择使用LSTM网络来生成分子的SMILES表示似乎并不明显。特别是分子图表示可以交替表达分子，许多研究都提出了新的分子生成图神经网络(GNNs)。然而，没有特定的GNN架构明显优于其他架构。据最近的分子生成基准报告，LSTM网络匹配(或改进)了GNN的性能。因此，寻找最好的分子生成DNN 架构是一个重要的研究方向，作者将其留给未来的工作。相反，作者为致力于为学徒策略选择完善的LSTM体系结构。

图4.学徒策略生成一个分子的SMILES表示

2.4 最大回报优先队列

在遗传专家指导框架中，最大奖励优先队列的作用是双重的。首先，优先队列为专家和学徒策略提供了高回报的分子。此外，它们可以防止政策“忘记”先前观察到的高回报的分子。

作者选择优先队列

来训练学徒策略而没有单独使用优先队列

，这是因为专家策略并不总是在回报方面改善学徒策略，尽管专家策略在探索方面总是如此。因此，对于学徒策略来说，模仿学徒策略和专家策略产生的高回报分子是有益的。这促进了学徒被训练的分子与改进的奖励。

三、实验处理

作者将GEGL与现有的工作进行了广泛的比较，以优化辛醇-水分配系数和GuacaMol基准。为了比较，文章考虑了基于深度强化学习(DRL)、深度嵌入优化(DEO)、遗传算法(GA)和深度监督学习(DSL)的从头分子设计的各种现有工作。除非另有说明，文章默认报告现有工程所取得的结果。所有的实验都使用单个GPU (NVIDIA RTX 2080Ti)和一个虚拟CPU系统(Intel Xeon E5-2630 v4)的8个实例进行处理。

为了实现GEGL，作者使用容量K=1024的优先队列。在每一步中，从学徒策略和专家策略中抽取8192个分子来更新特定优先级队列。使用学习率为0.001的亚当优化器对容量为256的迷你批处理神经网络进行优化。以1.0的标准进行梯度裁剪。学徒策略采用隐藏状态为1024维、退出概率为0.2的三层LSTM构造。在生成的示例中，将从学徒策略的输出中过滤掉无效的分子，例如违反价规则的分子。接下来，专家策略从优先级队列中选择8192对分子通过交叉操作生成分子。对交叉操作生成的每一个有效分子，以0.01的概率进行变异。与学徒策略类似，从专家策略的输出中过滤出无效的分子。

四、实验结果

4.1 辛醇-水分配系数优化

辛醇-水分配系数在表征药物相似性方面起着重要的作用，这项工作的目标是使辛醇-水分配系数()评分最大化，其定义如下：

这里LogP、SynthetiAaccessibility(x)、RingPenalty(x)分别代表了辛醇-水分配系数、考虑人工合成可行性下的惩罚和成环原子数目大于6的生成分子的惩罚。在对ZINC数据集预训练后，作者进行了无约束和相似性约束两类优化任务。

表1.无约束条件下各算法优化表现

表2.相似性约束条件下各算法表现

通过表1，表2可以观察到GEGL取得了优于现有算法的性能。还可以注意到，GEGL算法总是成功地提高了相关分子的惩罚对数P分数，即成功率为1.00。

4.2 GuacaMol基准

作者提供了GuacaMol基准的经验结果，该基准是专门设计来衡量新分子设计算法的性能。它由20个具有化学意义的分子设计任务组成，这些任务已经被领域专家在过去的文献中仔细设计和研究过了。值得注意的是，GuacaMol基准测试是对一组分子而不是单个分子进行评分，以评估算法产生不同分子的能力。为此，给定一组分子

和一组正整数，在GuacaMol基准测试中任务的评分如下:

其中r是特定于任务的教导分子的分数，表示一组以分子度量为基准的降序排列。在实验中，作者使用Brown等人提供的权重初始化学徒策略，该权重是在ChEMBL数据集上预先训练的。对于每个任务，作者运行GEGL 200个步骤，其中SMILES的最大长度限制为100。

表3. GuacaMol基准（左）和经过事后过滤的GuacaMol基准实验结果

在表3左半部分中，可以观察到GEGL比现有基线的性能好了很多。也就是说，GEGL在20个任务中获得了19个任务的最高分。此外，该算法完美地解决了13个任务，其中有3个任务还没有被完美地解决。这样的结果证明了GEGL算法能够有效地产生一个高回报和多样化的分子集合。然而，新的分子设计算法可能会导致有问题的结果。例如，生成的分子可能不具有生物活性，难以合成，或者被领域专家认为是“不现实的”。考虑到这一点，作者使用了专家设计的过滤器，来排除具有不良特征的分子。由于过滤过程是事后的，重新设计的分子算法将不能积极地利用过滤过程中可能存在的分歧。

如表3右半部分所示，即使将不合格的分子过滤掉，GEGL仍然优于基线。这验证了GEGL算法生成有化学意义的结果的能力。因此，可以得出结论，GEGL可以灵活地使用各种新的分子设计过程的选择。

4.3 消融研究

最后，为了研究算法中每个组件的行为，作者对其算法进行消融研究。为此，作者在GuacaMol基准测试中的Sitagliptin MPO和Zaleplon MPO任务上进行了实验。这里的Sitagliptin MPO和Zaleplon MPO任务分别对应于表2中的15号和16号任务。

图5. 消融研究的四类任务结果

作者首先考察了DNN和遗传算子在算法中的贡献。为此，如图5所示，作者将GEGL与(a)没有专家策略

的GEGL和(b)没有学徒策略

的GEGL以及(c)使用改进操作符的遗传算法进行比较。具体来说，(a)训练学徒策略模仿自身产生的高回报分子。其次，(b)通过ChEMBL数据集中的高奖励样本冻结最大奖励优先队列Q，然后仅根据专家策略更新

。最后，(c)与表3中报告的算法相同，但使用了遗传专家的超参数。在图(a)和(b)中，可以观察到所有消融算法的性能都比GEGL差。这一结果证实了神经学徒策略和遗传专家策略在GEGL框架中是双赢的。

接下来，为了单独评估最大回报优先队列，作者比较了优先队列Q和

的GuacaMol得分，这两个队列是由原始GEGL得分标准化的。例如，考虑

来评估，其中GuacaMolScore()是对一组分子的GaucaMol评分。在图6c和6d中，可以观察到，在训练的早期阶段，遗传专家策略(

)收集的样本确实比学徒策略(

)有所改进。但是，随着训练的进行，学徒策略学习产生的分子质量高于专家策略。由于表(a)和(b)表明，没有专家策略，学徒策略无法达到相同的性能，因此可以得出学徒策略通过学习有效地包含了遗传算子的好处的结论。

五、总结

作者提出了一个基于深度神经网络(DNNs)的新框架来解决新的分子设计问题。主要思想是用领域知识来加强对DNN的训练，利用专家设计的强大的遗传算子来指导对DNN的训练。通过广泛的实验，GEGL算法演示了在各种任务中最先进的性能。作者预测，将该框架扩展到存在强遗传算子的组合搜索问题，如生物序列设计、程序合成和车辆路径问题将有光明的前途。

代码

https://github.com/sungsoo-ahn/genetic-expert-guided-learning.

参考文献

Guiding Deep Molecular Optimizationwith Genetic Exploration，Sungsoo Ahn, Junsu Kim, Hankook Lee, Jinwoo Shin，arXiv:2007.04897 [q-bio.QM],Tue, 27 Oct 2020 10:49:47 UTC .