Nature：人工智能结合脑机接口，让渐冻症患者恢复“说话”能力

撰文丨王聪

编辑丨王多鱼

排版丨水成文

2012年，Pat Bennett 被诊断出患上了渐冻症（ALS），这种神经退行性疾病开始攻击她的运动神经元，导致她的逐渐失去运动能力，并最终瘫痪。通常情况下，渐冻症首先表现在身体的外周——手和腿，然而，Pat Bennett 有些不同，她的脑干更早开始恶化，她在还能行走、打字的时候，就已经无法使用嘴唇、舌头、喉部和下颚的肌肉运动来清晰地发声，她的大脑能够尝试发声，但肌肉已无法执行这一命令，从而失去了说话的能力。

斯坦福大学的 Francis Willett 团队在 Nature期刊发表了题为：A high-performance speech neuroprosthesis 的研究论文。

该研究开发了一种皮质内脑机接口（iBCI），并通过训练人工智能（AI）软件，将渐冻症（ALS）患者大脑中的神经活动实时转化为文字，且比现有技术更快、更准确、覆盖更大词汇量。这项研究展示了一条可行的路径以恢复渐冻症等瘫痪者的语言沟通能力。

2021年5月，Francis Willett团队在Nature期刊发表了题为：High-performance brain-to-text communication via handwriting 的研究论文【2】。

该研究开发了一种脑机接口（BCI）设备，通过与人工智能（AI）结合，将瘫痪者大脑中想象笔迹时的神经活动实时解码为电脑屏幕上的文字，能够达到每分钟90个字符（18个单词）的速度，这是当时BCI相关方法的文字转换速度的世界纪录。

在得知这项研究成果后，Pat Bennett 与研究团队取得了联系，并自愿参加了后续临床试验。

2022年3月29日，研究团队在Pat Bennett 的大脑皮层表面植入了四个微型细电极阵列（每个阵列包含8×8个电极），用于收集单个细胞的神经活动，植入的阵列连接到金线上并通过电缆连接到电脑上，并训练人工智能来解码她试图进行的发声。

研究团队并未训练人工智能识别整个单词，而是创建了一个从音素（最小语音单位）解码单词的系统，例如，“Hello”这个单词包含四个音素：“HH”、“AH”、“L”和“OW”。使用这种方法，计算机只需要学习39个音素就可以破译任何英语单词。

植入手术后大约一个月，研究团队开始对Pat Bennett进行每周两次的训练，让她在大脑中尝试“读出”屏幕上从数据集中随机选出的句子，这些数据集由打电话的人的对话组成。当她尝试“读出”一句话时，她的大脑活动会被解码并翻译成音素流，然后由自动更正系统组装成单词，显示在屏幕上原句的下方，然后下一个新的句子出现。每次训练都会重复260-480个句子，整个系统在不断改进，从而熟悉了她在尝试说话时的大脑活动。

经过四个月的训练后，Pat Bennett大脑中尝试的讲话能够在电脑屏幕上以每分钟62个单词的速度被实时转换成文字，这一速度是此前类似装置的3.4倍，进一步接近了自然对话的速度（每分钟约160个词）。该系统在50个单词的词汇量下错误率为9.1%，比此前最先进的语言脑机接口装置低2.7倍。

而当词汇量扩大到125000个单词时（这一词汇量足以组成任何你想说的话），错误率上升到了23.8%，虽然谈不上完美，但与现有的技术水平相比已经高出了一大截，这可能是有研究首次成功演示大词汇量的解码。

论文通讯作者 Francis Willett 表示，这是一项概念验证的临床研究，还不是日常生活中能够获取的实际设备，但对于恢复瘫痪者的沟通能力来说是一个巨大的进步。

前排为Pat Bennett，后排右二为论文通讯作者Francis Willett

值得一提的，Nature同期发表了来自加州大学旧金山分校的张复伦（Edward Chang）团队题为：A high-performance neuroprosthesis for speech decoding and avatar control 的研究论文【3】。

该研究开发了一种新型脑机接口（BCI），结合人工智能（AI）技术，可以高性能、实时将因脑干中风而严重瘫痪的患者大脑信号同时转化为三种输出形式：文字、语音和控制一个头像，从而帮助严重瘫痪者恢复沟通能力。

Nature 在同期发表了题为：Brain implants that enable speech pass performance milestones 的“新闻与观点”文章中表示，这两个脑机接口装置“代表了神经科学和神经工程学研究的重大进步，对于缓解因瘫痪性神经损伤和疾病而失声的人的痛苦有巨大潜力”【4】。

论文链接：