FoldBench: 全原子结构预测模型的系统性基准评估

近日，一项名为 FoldBench 的系统性评测上线，全面评估了当前全原子预测模型在生物分子结构预测中的表现。该研究由复旦大学、上海交通大学、香港中文大学等机构的科研人员联合完成，评估对象包括DeepMind最新发布的 AlphaFold 3 以及其他四款全原子预测模型。结果显示，虽然AlphaFold 3在多项任务中表现亮眼，但整个领域仍面临诸多挑战，尤其是在泛化能力、抗体建模和核酸结构预测等方面。

图片

研究亮点

• 全方位任务覆盖：FoldBench共纳入了1522个生物复合物，涵盖蛋白质、核酸、配体等关键分子及其相互作用，构建了九大类结构预测任务，系统性测试了五种主流AI模型的实际能力。
• AlphaFold 3表现稳定领先：在大部分任务中，AlphaFold 3展现出稳定的高精度表现。
• “记忆效应”成模型瓶颈：研究发现，当前模型对训练数据存在明显的“记忆效应”——当遇到与训练数据相似度较低的新分子时，准确率显著下降。这在配体对接、蛋白质互作等关键任务中尤为明显，暴露出模型在泛化能力上的短板。
• 抗体预测仍是最大难关：尽管AI在很多方面取得突破，但抗体-抗原相互作用的预测仍然困难重重。当前模型在该任务中的失败率普遍超过50%，对于疫苗和抗体药物开发构成实际限制。
• 核酸预测表现不佳：所有模型在DNA和RNA结构预测任务中普遍遇阻，尤其在面对大型RNA三维结构时效果不佳。研究指出，这主要是由于高质量核酸结构数据稀缺以及分子构象本身的复杂性。
• 对药物研发的现实启示：在预测药物研发中常见的别构位点（即非活性位点）时，所有模型的准确性都较低。这一方面反映出当前训练数据集的局限性，另一方面也说明了新靶点开发面临的挑战。

具体结果

蛋白质-配体相互作用

图片

在总共558个目标的测试中，AlphaFold 3取得了64.9%的成功率，领先第二名近10个百分点。研究发现，当配体对于模型是“未见过”的（即与训练数据相似度低）时，所有模型的性能都出现明显下滑，这表明当前模型在一定程度上依赖于对已知结合模式的“记忆”。此外，在识别别构位点方面，所有模型都表现不佳，这对于别构药物的开发是一个重大挑战。

蛋白质-蛋白质相互作用 (PPIs)

图片

在一个由279个低相似度复合物组成的蛋白-蛋白复合物集合上，AlphaFold 3的对接成功率达到73.7%，显著优于其他模型。值得注意的是，AlphaFold 3能够成功预测结构域交换（domain-swapped）等复杂的构象变化。

抗体-抗原相互作用

图片

这是当前所有模型面临的最大挑战之一。大多数模型的失败率超过60%，即便是表现最好的AlphaFold 3，成功率也仅为47.9%。研究指出，对接成功与否，与互补决定区（特别是CDR H3环）的建模精度高度相关。虽然增加采样次数可以在一定程度上提升AlphaFold 3的性能，但其他模型由于排序能力不足，收效甚微。

核酸结构预测

图片

对DNA和RNA单体的结构预测是所有模型的另一个主要难点。虽然模型能准确捕捉发夹环等局部结构，但在预测大型RNA的整体三维折叠上普遍失败。研究人员认为，这主要是由于PDB数据库中高质量的核酸结构数据相对稀少所致。

蛋白质单体预测

作为传统任务，蛋白单体预测已较为成熟。各模型均可实现高精度预测（平均LDDT > 0.85），AlphaFold 3略胜一筹（LDDT = 0.88）。不过，Protenix在置信度评分上表现出“过度自信”的问题。

蛋白质-肽预测

对于常规短肽，大多数模型表现良好，HelixFold 3成功率高达90.0%。但在环肽建模上普遍失败，研究表明，通过在输入中明确环状连接信息可大幅提升预测效果。

总结

FoldBench首次系统、全面地对主流全原子结构预测模型进行了深入评估，不仅验证了AlphaFold 3的领先地位，也揭示了当前模型面临的共性挑战：

• 过度依赖训练数据，导致泛化能力受限；
• 核酸和抗体类分子的预测精度不足；
• 在药物设计中关键但复杂的位点（如别构位点）预测能力有限。

这些发现为后续研究指明了方向——扩大训练数据的种类与数量、优化采样与排序机制、设计更具泛化能力的新型架构。FoldBench也将作为一个持续演进的评估平台，助力结构生物学与AI模型的共同进步。

参考资料

FoldBench: An All-atom Benchmark for Biomolecular Structure Prediction. Sheng Xu, Qiantai Feng, Lifeng Qiao, Hao Wu, Tao Shen, Yu Cheng, Shuangjia Zheng, Siqi Sun. bioRxiv 2025.05.22.655600; 

doi: https://doi.org/10.1101/2025.05.22.655600