国际首个，我国团队开发糖尿病诊疗多模态大模型 DeepDR-LLM

IT之家 7 月 25 日消息，IT之家从上海市第六人民医院官方公众号获悉，上海交通大学医学院附属第六人民医院贾伟平教授和李华婷教授团队与上海交通大学电院计算机系 / 教育部人工智能重点实验室盛斌教授团队，携手清华大学黄天荫教授团队与新加坡国立大学覃宇宗教授团队，通过医工交叉合作研究，构建了全球首个面向糖尿病诊疗的视觉-大语言模型的多模态集成智能系统 DeepDR-LLM，成果于 2024 年 7 月 19 日在 Nature Medicine 发表（题为 Integrated image-based deep learning and language models for primary diabetes care）。

据介绍，DeepDR-LLM 系统融合了大语言模型和深度学习技术优势，实现了医学影像诊断与诊疗意见的多模态生成功能，能提供糖尿病视网膜病变辅助诊断结果及个性化糖尿病综合管理意见。

该系统在覆盖亚非欧三大区域七个国家的多中心队列中进行了回顾性验证，以及针对中国基层医疗实际开展了前瞻性真实世界验证，首次向全球提供了面向糖尿病医疗垂直领域的多模态大模型应用成效的高质量循证证据。研究团队表示，研究证明 DeepDR-LLM 系统可有效改善 DR 筛查和基层糖尿病管理水平，为未来全球糖尿病治理提供了革命性的数字解决方案。

既往的 AI 系统研发主要集中在糖尿病的并发症筛查或辅助管理的单一领域。随着全球范围内以 ChatGPT 为代表的生成式人工智能技术的迅猛发展，多模态大模型正不断推动医疗领域的新应用场景和模式的涌现，但这些模型尚不能根据患者的医学影像和具体病情，提供准确且安全的糖尿病综合诊疗建议。

针对当前的技术空白和临床的实际需求，该团队成功研发了全球首个面向糖尿病基层诊疗的视觉-大语言模型多模态集成智能系统 DeepDR-LLM。其可适配包括 LLaMA 在内的大语言模型，LLM 模块将训练网络层与大语言模型的固有权重参数相融合，突破低算力资源约束下的多模态大模型优化的瓶颈，并进一步基于 37.2 万条基层慢病诊疗和慢病管理数据和知识实现了高效优化训练，使 DeepDR-LLM 系统可基于患者个体的临床信息生成精准糖尿病管理意见。

▲ DeepDR-LLM 系统评估流程

▲ DeepDR-LLM 系统纳入基层糖尿病诊疗流程的愿景

IT之家附研究成果：