Nat. Methods｜Nucleotide Transformer：人类基因组大模型新突破

近年来，自然语言处理（NLP）领域的快速发展为生物信息学带来了新的研究工具，尤其是大语言模型（如BERT、GPT）在蛋白质结构预测和基因调控分析中的成功应用，揭示了人工智能在生命科学中的巨大潜力。然而，基因组学领域仍面临两大核心挑战：如何解析海量非编码DNA的功能以及如何在低数据场景下实现高精度预测。

近期，《Nature Methods》发表了一项题为《Nucleotide Transformer: building and evaluating robust foundation models for human genomics》的研究，提出了Nucleotide Transformer（NT），一种基于Transformer架构的基因组学基础模型，为DNA序列的分析和理解提供了全新的思路。

模型设计：规模与多样性并重

1. 基于Transformer的架构创新 Nucleotide Transformer采用了Transformer编码器结构，支持较长的上下文窗口（初始版本为6 kb，升级版NT-v2扩展至12 kb），能够捕捉DNA序列中的长程依赖关系。模型参数规模从5000万到25亿不等，显著超越传统基因组学模型，如DNABERT-2（1.5亿参数）和Enformer（3.6亿参数）。此外，模型采用六核苷酸（6-mer）分词方式，既优化了序列长度处理，又保留了序列的语义信息。

2. 多样化的训练数据 为了实现模型的泛化能力，研究团队整合了多种高质量基因组数据：

• 人类基因组数据：包括完整的人类参考基因组和“千人基因组计划”中的3202个多样化人类基因组，捕捉自然遗传变异。
• 跨物种数据：覆盖850个物种（包括11种模式生物），进一步增强了模型在不同物种间的迁移学习能力。

通过这种规模与多样性并重的数据策略，NT模型能够学习到DNA序列的通用语义表示。 模型预训练利用了分布在16个计算节点上的128个A100 GPU，花费28天。

性能表现：多任务全面超越现有模型

研究团队在18个基因组学任务中对NT模型进行了系统评估，这些任务涵盖剪接位点预测、启动子识别、增强子功能解析等核心领域。

1. 监督学习：显著提升任务性能 NT模型在微调后表现出卓越的监督学习能力。例如：

• 剪接位点预测：NT模型在6 kb上下文窗口下的Top-k准确率达96%，与15 kb输入的SpliceAI性能相当，但计算效率更高。
• 任务平均性能：在18项任务中，NT微调模型的平均MCC（Matthews相关系数）为0.755，显著优于BPNet（0.683）。

2. 无监督学习：自动发现序列特征 通过对嵌入空间的分析，NT模型在无需标注数据的情况下，能够区分不同的基因组区域（如内含子、外显子、基因间区）。此外，模型的注意力机制能够自动聚焦于关键调控元件（如增强子、启动子），并显示对特定结合位点（如CTCF结合位点）的高度关注。

3. 零样本预测：适应低数据场景 在数据稀缺的情况下，NT模型通过嵌入空间的相似度分析，能够区分功能性变异（如致病突变）与非功能性变异，其AUC（受试者工作特征曲线下面积）达到0.80。这种零样本能力为未注释基因组区域的功能预测提供了新的工具。

技术创新：高效微调与模型压缩

1. 参数高效微调（IA³技术） NT模型采用了IA³（Input-Aware Adaptive Adjustment）微调技术，仅需调整0.1%的模型参数即可完成任务微调。例如，在25亿参数模型中，仅需修改250万参数即可实现性能优化。这种技术极大地降低了计算成本，使单GPU在15分钟内即可完成微调。

2. 模型压缩与优化（NT-v2） 通过引入旋转位置编码（RoPE）和SwIGLU激活函数，研究团队成功将模型压缩至原始规模的1/10甚至1/50。例如，50M参数的优化模型在某些任务中的表现已接近原版500M模型，从而显著降低了资源需求。

应用前景与挑战

1. 应用潜力

• 非编码变异解析：NT模型能够通过嵌入空间的零样本评分，优先筛选出功能性突变（如调控性eQTL），为疾病关联研究提供支持。
• 跨物种基因组学：其在多物种数据上的训练使其适用于非模式生物基因组的功能预测，特别是在缺乏注释的情况下尤为重要。
• 长程调控分析：NT模型的上下文窗口已扩展至12 kb，未来结合新的架构（如HyenaDNA），或可突破200 kb感知范围，为长程调控研究开辟新路径。

2. 现存局限 尽管NT模型表现出色，但仍存在一些局限性：

• 对3'UTR区域的识别能力较弱，可能与现有注释数据质量不足有关。
• 长序列处理的效率瓶颈：Transformer架构的计算复杂度随序列长度呈平方增长，限制了对超长DNA序列的处理能力。

研究意义与未来展望

Nucleotide Transformer的推出标志着基因组学从“单一任务专家”向“通用DNA语义理解”迈进了一大步。通过在大规模DNA序列数据上的预训练，NT模型能够生成通用的基因组表示，适配多种下游任务。这种方法不仅提高了预测精度，还降低了对大规模标注数据的依赖，为数据稀缺场景下的研究提供了强有力的支持。

未来，随着多组学数据（如表观基因组、转录组和蛋白质组）的融合，基于Transformer的基础模型或将成为生命科学研究的“通用翻译器”。例如，将甲基化、染色质开放度等表观基因组数据作为多模态输入，可能进一步提升模型的性能。此外，模型架构和训练策略的优化（如改进长序列处理能力）也将为基因组学的应用拓展提供更多可能性。

总之，Nucleotide Transformer的研究成果不仅验证了Transformer架构在基因组学中的巨大潜力，也为计算生物学和生物信息学领域的未来发展提供了重要启示。

参考文献

论文： Dalla-Torre et al. Nucleotide Transformer: building and evaluating robust foundation models for human genomics. Nat Methods (2024).

代码： https://github.com/instadeepai/nucleotide-transformer

性能看板： https://huggingface.co/spaces/InstaDeepAI/nucleotide_transformer_benchmark