14岁上清华，29岁获普林斯顿终身教职，王梦迪最新论文，开发能读懂mRNA的语言模型，助力mRNA疫苗设计

撰文丨王聪

编辑丨王多鱼

排版丨水成文

基于语言模型（language model）的生成式人工智能，让我们真正感受到了人工智能的巨大潜力，编写代码、阅读并理解文字、生成绘画甚至视频。

我们的基因组是由4种碱基排列组合而成，其包含了生命的各种信息指令，基因组中的每个序列都遵循着与人类自然语言类似的语法和句法规则，改变一个或几个字词会彻底改变一句话，而改变基因组中的一个或几个碱基也足以产生巨大影响，实际上，许多重大遗传疾病只是因为单个碱基的改变。

那么，语言模型能够理解基因组序列信息吗？可以用来帮助我们优化mRNA序列，从而开发出更有效的mRNA疫苗或疗法吗？

2024年4月5日，普林斯顿大学王梦迪团队（褚晏伊、于丹为共同第一作者）在Nature Machine Intelligence 上发表了题为：A 5′ UTR language model for decoding untranslated regions of mRNA and function predictions 的研究论文，该论文此前于2023年10月在预印本平台bioRxiv上线。

该研究开发了一种语言模型（language model）——UTR-LM，该模型利用其语义表征能力解码mRNA的5'UTR区并预测其功能，并在此基础上生成mRNA的5'UTR序列，其中，生成的新冠病毒S蛋白的mRNA的5'UTR区，相比现有的优化的5'UTR区，能够将S蛋白生成水平大幅提高32.5%，从而帮助开发更有效的mRNA疫苗。

王梦迪教授

王梦迪，14岁时考入清华大学自动化系，23岁时获得麻省理工学院（MIT）电子工程与计算机博士学位，同年加入普林斯顿大学任助理教授，29岁时获得普林斯顿大学终身教职。

自然界中的生命都遵循一个基本法则——中心法则，即细胞生命的遗传信息从DNA向RNA再向蛋白质的流动，DNA储存了遗传信息，蛋白组负责了细胞的结构和功能，而mRNA将DNA中的遗传信息翻译为蛋白组。实际上，mRNA中只有一部分会被翻译为蛋白质，其余部分是非翻译区，发挥着调控翻译的功能。

5'非翻译区（5 ' UTR）是mRNA序列开头的一段区域，位于蛋白质编码序列之前。它影响着mRNA分子的稳定性、定位和翻译，在调控mRNA到蛋白质的翻译过程中发挥着至关重要的作用。

对于mRNA疫苗，控制其蛋白质产生的效率非常关键。在这项研究中，研究团队将他们开发的语言模型集中于mRNA的5'非翻译区（5′ UTR）——UTR-LM，以了解如何优化mRNA翻译效率和改进疫苗。

与驱动ChatGPT等聊天机器人的大语言模型（LLM）相比，该研究开发的这个语言模型（UTR-LM）在程度上不同，前者是在互联网上数十亿页的文本上进行训练，而UTR-LM是在几十万个来自不同物种的mRNA序列上进行基于Transformer模型的预训练，并纳入了mRNA二级结构和最小自由能（MFE）等监督信息。训练后的UTR-LM模型能够准确预测mRNA的平均核糖体结合数量（MRL）、mRNA的翻译效率（TE）和表达水平（EL），还可预测mRNA非翻译区上未被注释的核糖体进入位点（IRES）。这些预测的准确率均显著高于现有工具。

5′UTR功能预测与设计的UTR-LM模型

然后，研究团队使用经过训练的UTR-LM模型创建了一个包括211个新序列的库。每个序列都被优化以实现所需功能，主要是提高蛋白质翻译效率，例如提高mRNA新冠疫苗所编码的刺突蛋白（S蛋白）。研究团队通过实验室实验进一步验证了这些生成的序列，其中最佳序列优于现有的能够显著提高S蛋白表达效率的5'UTR序列——NCA-7d-5'UTR，将S蛋白的生产水平提高了32.5%。这一提高幅度足以对包括传染病疫苗、癌症疫在内的mRNA疫苗和疗法带来巨大推动。

对UTR-LM模型及由UTR-LM生成的5'UTR序的实验验证

以前的研究已经创建了语言模型来解码各种生物序列，包括蛋白质序列和DNA序列，而UTR-LM是第一个专注于mRNA非翻译区的语言模型，其除了提高mRNA的整体翻译效率外，还能够预测序列在各种相关任务中的表现。

论文通讯作者王梦迪教授表示，创建这个语言模型的真正挑战在于让其理解可用数据的完整上下文，训练模型不仅需要具有所有特征的原始数据，还需要这些特征的下游结果。该模型的成功还指向了一个更基本的可能性——通过对少数物种的mRNA进行训练，它能够解码核酸序列，并揭示有关基因调控的新知识。基因调控是生命最基本的功能之一，掌握着解锁疾病和疾病起源的关键。像这样的语言模型可以提供一种探索基因调控的新方式。

该论文此前已于2023年10月在预印本平台bioRxiv上线。

参考资料：