脑部扫描变文字？耶鲁等高校新AI工具来了！

IT之家 3 月 3 日消息，耶鲁大学联合剑桥大学、达特茅斯学院研究人员，共同推出一款名为 MindLLM 的医疗行业 AI 工具，该工具能够将脑部功能性磁共振成像（fMRI）数据转化为文字，在多个基准测试中，表现优于业界 UMBRAE、BrainChat、UniBrain 等技术。

据介绍，MindLLM 由 fMRI 编码器和大型语言模型组成，能够分析 fMRI 扫描中的立体像素（Voxels）来解读脑部活动。其 fMRI 编码器采用了神经科学注意力机制，能够适应不同输入信号的形状，从而实现多种分析任务。

研究团队还为相应工具引入了脑部指令调优（BIT）方法，增强了模型从 fMRI 信号中提取多种语义信息的能力，使其能够执行图像描述、问答推理等多种解码任务。

测试结果显示，在文字解码、跨个体泛化和新任务适应性等基准测试中，MindLLM 相对业界模型至高提高了 12.0%、16.4% 和 25.0%，证明其在适应新受试者和处理未知语言推理方面均优于传统模型。

不过，研究人员提到目前该模型仅能分析静态图像信号，未来如果进一步改进，有望发展成实时 fMRI 解码器，并广泛应用于神经控制、脑机接口和认知神经科学等领域，对神经假肢修复感知能力、精神状态监控以及脑机交互等应用带来积极影响。

目前，相应论文已发布在 ArXiv 上，IT之家附论文地址（点此访问）。