Nat. Mach. Intell. | 人工智能驱动的药物发现的双重用途

一次国际安全会议探讨了用于药物发现的人工智能（AI）技术如何被滥用于生化武器的从头设计。一个思想实验演变成了一个计算证明。

瑞士联邦核生化保护研究所--Spiez实验室--召开了由瑞士政府设立的 "融合 "系列会议1，以确定化学、生物学和可能对《化学武器公约》和《生物武器公约》产生影响的技术发展。这些会议每两年举行一次，汇集了一批国际科学和裁军专家，探讨化学和生物领域的技术现状及其发展轨迹，思考潜在的安全影响，并考虑如何最有效地在国际上管理这些影响。会议召开三天，讨论尖端化学和生物技术造成伤害的可能性，如果意图是这样的话。研究人员的药物发现公司收到了邀请，要贡献一份关于用于药物发现的人工智能技术如何有可能被滥用的报告。

滥用的风险

研究人员以前从未想到过这个问题。研究人员隐约意识到围绕病原体或有毒化学品工作的安全问题，但这与他们无关；他们主要在虚拟环境中运作。研究人员的工作植根于为治疗性和毒性靶标建立机器学习模型，以更好地协助设计新的分子用于药物发现。研究人员已经花了几十年的时间使用计算机和人工智能来改善人类健康--而不是降低人类健康。研究人员在思考他们的交易可能被滥用时很天真，因为研究人员的目标一直是避免可能干扰对人类生命至关重要的许多不同类别的蛋白质的分子特征。即使是关于埃博拉病毒和神经毒素的项目，也可能引发对研究人员的机器学习模型的潜在负面影响的思考，但并没有给我们敲响警钟。

制药公司最近发表了用于不同领域的毒性预测的机器学习模型，在制定在Spiez会议上的演讲时，研究人员选择了探索人工智能如何被用于设计有毒分子。这是一个研究人员以前没有考虑过，最终演变成了一个制造生化武器的计算概念证明。

新的有毒分子的生成

研究人员之前设计了一种名为MegaSyn的商业 de novo 分子生成器，它以机器学习模型预测生物活性为指导，目的是寻找人类疾病靶点的新治疗抑制剂。这种生成模型通常会惩罚预测的毒性并奖励预测的靶标活性。研究人员只是提议通过使用相同的方法从头设计分子来反转这种逻辑，但现在指导模型同时奖励毒性和生物活性。研究人员使用来自公共数据库的分子训练人工智能，这些分子主要是类药物分子（可合成并可能被吸收）及其生物活性。研究人员选择使用生物体特异性致死剂量 (LD 50 ) 模型对设计的分子进行评分和使用来自同一公共数据库的数据的特定模型，该数据库通常用于帮助获得用于治疗神经系统疾病的化合物。底层生成软件建立在其他易于获得的开源软件之上，并且与其他开源软件类似。为了缩小分子的范围，研究人员选择将生成模型推向诸如神经毒剂 VX 之类的化合物，这是 20 世纪开发的毒性最强的化学战剂之一。

在研究人员的内部服务器上启动后不到 6 小时，研究人员的模型生成了 40,000 个分子，这些分子的得分在期望的阈值内。此过程中，人工智能不仅设计了 VX，还设计了许多其他已知的化学剂，还设计了许多看起来同样合理的新分子。根据预测的 LD 50值，这些新分子被预测比公知的化学剂毒性更大（图1）。这是出乎意料的，因为用于训练 AI 的数据集不包括这些神经毒剂。虚拟分子甚至占据了与生物体特异性 LD 50模型中的数千个分子完全分离的分子属性空间区域，该模型主要包括农药、环境毒素和药物。通过反转机器学习模型的使用，研究人员将无害的生成模型从有用的医学工具转变为可能致命的分子生成器。

研究人员的毒性模型最初是为了避免毒性而创建的，使研究人员能够在最终通过体外测试确认其毒性之前更好地虚拟筛选分子（用于药物和消费品应用）。然而，反之亦然：研究人员越能预测毒性，就越能更好地引导生成模型在主要由致命分子组成的化学空间区域中设计新分子。研究人员没有评估虚拟分子的可合成性，也没有探索如何使用逆合成软件来制造它们。对于这两个过程，商业和开源软件都是现成的，可以很容易地插入新分子的从头设计过程中。研究人员也没有物理合成任何分子。但由于全球范围内有数百家提供化学合成的商业公司，这不一定是一个很大的进步，而且该领域监管不力，几乎没有检查以防止合成可能使用的新的、剧毒的试剂作为化学武器。重要的是，研究人员有一个人在循环中以坚定的道德和伦理“不要去那里”的声音进行干预。但是，如果人类被移除或替换为坏演员怎么办？随着目前对自主合成的突破和研究，一个完整的设计-制造-测试周期不仅适用于制造药物，而且适用于制造毒素。因此，研究人员的概念证明强调了致命化学武器的非人类自主创造者是如何完全可行的。

敲响警钟

不必过分危言耸听，这应该为研究人员在“药物发现中的人工智能”社区的同事敲响警钟。尽管仍然需要一些化学或毒理学领域的专业知识来生成可能造成重大伤害的有毒物质或生物制剂，但当这些领域与机器学习模型相交时，您所需要的只是编码和理解模型输出的能力它们本身就大大降低了技术门槛。开源机器学习软件是学习和创建像这样的新模型的主要途径，毒性数据集为预测与人类健康相关的一系列靶标提供了基线模型。

研究人员的概念证明专注于 VX 类化合物，但它同样适用于具有相似或不同机制的其他有毒小分子，对研究人员的协议进行了最小的调整。逆合成软件工具也在同步改进，允许研究已知和未知分子的新合成路线。因此，完全有可能预测化学剂的新路线，绕过已知合成路线的受监视或受控前体化学品的国家和国际清单。

现实情况是，这不是科幻小说。在数百家使用人工智能软件进行药物发现和从头设计的公司中，研究人员只是一家非常小的公司。他们中有多少人甚至考虑过重新利用或滥用这些可能性？大多数将致力于小分子，许多公司资金充足，可能会利用全球化学网络来制造他们的人工智能设计的分子。有多少人知道如何找到化学空间的口袋，里面装满了比 VX 毒性更大的分子？研究人员目前没有这些问题的答案。此前，科学界并未就人工智能在分子从头设计中的应用这一双重用途问题进行过重大讨论，至少没有公开讨论过。但不涉及国家和国际安全。当我们想到药物发现时，我们通常不会考虑技术滥用的可能性。我们没有接受过考虑它的培训，甚至机器学习研究也不需要它，但我们现在可以与其他公司和个人分享我们的经验。生成式AI工具同样适用于更大的分子（肽、大分子内酯等）和其他行业，例如消费品和农用化学品，这些行业也对设计和制造具有特定物理化学和生物学特性的新分子感兴趣。这大大增加了应该关注这些问题的潜在受众的范围。

商业工具以及开源软件工具和填充公共数据库的许多数据集，都可以在没有监督的情况下使用。如果威胁或实际伤害发生在与机器学习相关联的情况下，这将对人们如何看待这项技术产生什么影响？媒体对人工智能设计药物的炒作会突然转向关注人工智能设计的毒素、公众羞辱和对这些技术的投资减少吗？作为一个领域，研究人员应该就这个话题展开对话。声誉风险是巨大的：只需要一个坏苹果，例如对抗国家或其他寻求技术优势的参与者，通过将模糊描述的内容带到下一个合乎逻辑的步骤来造成实际伤害。研究人员如何防止这种情况发生？研究人员能把所有的工具锁起来，把钥匙扔掉吗？研究人员是否监控软件下载或限制对某些群体的销售？研究人员可以按照 GPT-3 等机器学习模型的示例集，最初是为了防止滥用而限制候补名单，并有一个供公众使用的 API。即使在没有候补名单的今天，GPT-3 也有防止滥用的保护措施、内容指南、免费的内容过滤器和监控使用 GPT-3 进行滥用的应用程序。研究人员知道最近没有任何毒性或靶标模型出版物讨论过类似的双重用途问题。作为负责任的科学家，研究人员需要确保防止滥用人工智能，并确保开发的工具和模型仅用于良好的目的。

通过尽可能接近，仍然跨越了一个灰色的道德边界，证明可以设计虚拟的潜在有毒分子，而不需要太多的努力、时间或计算资源。研究人员可以轻松地抹去创造的数千个分子，但无法抹去如何重新创造它们的知识。

对社会更广泛的影响

这里需要进行跨越传统界限和多学科的讨论，以便从不同的角度和广泛的思维方式来重新审视用于新设计的人工智能和相关技术。在此，研究人员给出了一些建议，研究人员认为这些建议将减少人工智能在药物发现中的潜在双重用途问题。科学会议，如毒理学会和美国化学会，应该积极促进来自工业界、学术界和政策制定的专家就计算工具的影响进行对话。本刊最近讨论了关于作者向会议、机构审查委员会和资助机构提交更广泛的影响声明的要求，以及解决潜在的挑战。将提高能见度作为一项持续的努力和关键的优先事项，将大大有助于提高人们对尖端技术潜在的双重用途的认识，并将产生必要的宣传，使活跃在研究领域的每个人都参与到负责任的科学中来。研究人员可以从《海牙道德准则》等例子中得到启发，这些准则促进了化学科学中负责任的行为文化，并防范化学的滥用，以便让以人工智能为重点的药物发现、制药和可能的其他公司同意行为准则，以培训员工，确保其技术，并防止访问和潜在的滥用。使用面向公众的模型API，并根据要求提供代码和数据，将极大地提高安全性，并控制如何利用已发布的模型，而不会对可访问性增加很多障碍。尽管MegaSyn是一个商业产品，因此研究人员可以控制谁可以访问它，但在未来，研究人员将对任何面向公众的模型实施限制或API。建立一个报告结构或热线电话给当局，以便在出现失误或意识到有人在为非治疗用途开发有毒分子时使用，也可能是有价值的。最后，大学应该加倍努力对理科学生进行道德培训，并将范围扩大到其他学科，特别是计算机专业的学生，使他们在职业生涯的早期阶段就意识到滥用人工智能的可能性，并了解其潜在的更广泛的影响。希望通过提高对这项技术的认识，在一定程度上表明，尽管人工智能可以在医疗保健和其他行业有重要的应用，但也应该像对待分子或生物制剂等物理资源一样，对潜在的双重用途保持警惕。

参考资料

Urbina, F., Lentzos, F., Invernizzi, C. et al. Dual use of artificial-intelligence-powered drug discovery. Nat Mach Intell (2022).

https://doi.org/10.1038/s42256-022-00465-9