填补空白！Nature系列(IF:58)｜复旦大学Roland Eils：DeepSeek开源大语言模型在临床决策中的表现的研究

来自复旦大学“生命健康"领域最新的科研进展。面向世界科技前沿，践行行业使命感，助力基础研究，推广科技成果。服务行业，造福社会！

大语言模型在医学领域展现出巨大潜力，可处理复杂医疗信息，辅助临床决策、自动化管理任务并改善患者护理。但专有模型如GPT-4o在临床应用中面临障碍，因其无法在医疗机构内部署，难以满足严格的数据隐私法规要求。而开源大语言模型如DeepSeek系列，不仅参数规模大，能与专有模型竞争，还具备透明度高、可在机构内部运行且成本低的优势。不过，此前开源模型在临床决策任务中的实际表现缺乏系统评估，该研究旨在填补这一空白。

2025年4月23日(当地时间)，复旦大学智能医学研究院Roland Eils团队，于医学知名期刊Nature medicine(IF:58.7) 发表题为“Benchmark evaluation of DeepSeek large language models in clinical decision-making”的封面文章。该研究关于DeepSeek开源大语言模型(LLMs)在临床决策中的表现的研究工作，研究发现DeepSeek-V3和DeepSeek-R1在诊断和治疗推荐任务上，性能与顶尖专有大语言模型相当，部分情况下甚至更优。

科研团队精心挑选125个标准化患者病例开展研究，病例涵盖多个医学专科，包括常见疾病和罕见病。他们选用GPT-4o、Gemini-2.0 Flash Thinking Experimental(Gem2FTE)等专有模型，与DeepSeek-V3和DeepSeek-R1进行对比。评估过程中，专家依据5分李克特量表，手动评估模型生成的文本输出，以确保评估结果的准确性和可靠性。

图1.  诊断任务的模型性能

在诊断任务中，研究结果令人惊喜。Gem2FTE表现明显逊于DeepSeek-R1和GPT-4o。DeepSeek-R1则与表现最佳的GPT-4o水平相当，二者无显著差异。值得一提的是，所有新模型在诊断任务上的表现均优于GPT-4、GPT-3.5和谷歌搜索。而且，除Gem2FTE外，其他模型在罕见病诊断方面与常见疾病诊断表现相近，这与此前对GPT-4、GPT-3.5和谷歌搜索的研究结果形成鲜明对比。

图2. 治疗推荐任务中的模型性能

治疗推荐任务的评估结果同样出色。GPT-4o和DeepSeek-R1的表现均优于Gem2FTE，且二者之间无显著差异。相较于之前研究中的GPT-4、GPT-3.5和DeepSeek-R1也展现出明显优势，而Gem2FTE则未体现优势。疾病发病率对模型治疗推荐性能的影响较小，且多数模型在各临床专科的表现较为一致。

图3. 扩展数据图

尽管DeepSeek系列模型表现优异，但研究也指出其存在的不足。部分病例中，模型预测结果未达满分，若模型输出在无专家审核的情况下直接用于医疗决策，可能存在风险。“人工幻觉”现象虽在所有模型中出现频率较低，但也不容忽视。

图4. 诊断和治疗推荐任务的模型性能总结

该研究表明开源大语言模型在临床决策支持任务中表现良好，是医疗领域有价值的辅助工具，为医疗机构提供了更安全、经济且合规的选择。随着医院对数据隐私和法规合规性的重视，开源大语言模型可在机构内部进行安全、低成本的训练和应用，为医疗行业带来新的发展方向。

不过，要将以上研究成果转化为实际临床应用，仍面临诸多挑战。未来，需建立更强大的验证框架和明确的指南，确保大语言模型在临床使用中的安全性和有效性。同时，可通过接入经过质量检验的医学文献和数据库、引入人工审核以及采用更透明的学习方法等方式，进一步提升模型性能，后续还需开展更多临床研究，评估以上模型对患者治疗效果的实际影响。

注：文中插图源于Nature medicine

原文链接：https://doi.org/10.1038/s41591-025-03727-2

来    源    复旦大学智能医学研究院

“复旦大学光华生命健康校友会”是复旦大学校友总会正式注册成立的分支机构，是跨学科、跨界别、跨地域，覆盖生命健康领域的公益性行业校友组织。

校友会以推动中国生命健康领域的“科技创新”，提升人类健康为使命，以促进“产学研医用”的融合创新与资源整合为目标，以加强母校与校友联动，增进校友互助协作，发掘科技创新成果，助力母校发展、助力校友成功、助力行业进步、造福社会大众为宗旨。

校友会立足上海、辐射全国，会员以复旦大学生命科学、医学、药学、附属医院校友为基础，同时覆盖化学、材料、信息、大数据、金融、管理等多学科泛生命健康相关院系，涵盖产业、学术、科研、医疗、政府、资本等“产学研医政资”的优秀校友。

欢迎“生命健康”领域校友，加入光华“宝藏”校友会。