语言脑机接口——为语言障碍者装上“语音假肢”

全世界的先天和后天失语者多达数百万，失语症、神经元疾病、脑瘫、中风、自闭症等，都会对辅助语言表达的肌肉控制造成影响。近日，神经科学家创造了一种先进的脑机接口，利用控制嘴唇、舌、喉和下巴运动的神经信号合成语音。这项技术有望为因神经损伤而失去语言能力的人装上“语音假肢”。

彭涛编译

中风、创伤性脑损伤和神经退行性疾病，如帕金森病等，往往会导致丧失部分说话能力。传统的语音辅助技术通过跟踪眼睛或面部肌肉的局部微小活动，可以帮助这些失语者可以逐字逐句地说出他们的想法。

例如著名的英国物理学家斯蒂芬·霍金，由于生前患有肌肉萎缩性脊髓侧索硬化症（ALS），21岁后便逐渐丧失了全身机动能力和说话能力。霍金与外界沟通需要借助红外线感应器，通过眨眼速度的变化与电脑通信，再由语言合成器将文字转为语音。使用这类辅助技术非常费时费力，一般人每分钟说100~150个单词，而霍金生前每分钟只能说15个单词左右。

01

—

基于神经活动的语言脑机接口

最近，美国加州大学旧金山分校医学博士Edward F. Chang的实验室开发了一种新技术，创造了一种先进的语言脑机接口。相对于传统的辅助技术，新技术利用控制嘴唇、舌、喉和下巴运动的神经信号来合成语音。

这项技术每分钟能够生成150个单词，接近自然语音的语速水平，并实现了很高的准确率。语言脑机接口可以让有严重语言障碍的人恢复流畅交流，重现个体声音的音感，使合成语音传达情感和个性，相当于为因神经损伤而失去语言能力的人装上了“语音假肢”。

02

—

递归网络：解码语言中枢的神经指令

研究人员意识到，先前把大脑神经活动直接解码成语音的尝试可能很难成功，因为脑区的这些神经活动并不能直接反映语音的声学性质，而代表了在说话过程中用于协调嘴巴和喉咙活动的神经指令。

这一思路的关键在于：考虑到声道活动与发出的声音之间的关系很复杂，如果在大脑语言中枢里编码的是发出语音的指令，那么通过辅助技术来解码这些信号时，也应该面向发起语音的神经活动，而非语音本身。

为了弄清语音相关的神经活动，研究人员招募了5名志愿者，在其大脑的不同区域临时植入了电极阵列。这些志愿者的语言功能是完整的，在他们大声说话的同时，通过皮层脑电图（ECoG）监测语音相关脑区的神经活动信号。

核磁共振图：临时植入不同脑区位置的皮层电极（ECoG）阵列，P1-5代表志愿者1-5。

在产生合成语音的方法上，研究人员介绍了两种不同的技术，并比较了两者的失真率。

图a：直接解码。通过ECoG监测大脑语言区域的神经活动，再利用递归神经网络直接解读信号，并合成语音。

图b：两级解码。利用递归神经网络，先将神经信号转换为嘴唇、舌头、喉头和下巴等声道关节的活动（红色），再将这些声道关节的活动转换成合成语音。

03

—

新型辅助技术的重要意义

与直接解码相比，两级解码能明显减小失真率，这是因为在两级解码的中间阶段，算法里加入了与发声器官正常活动功能有关的信息（前备知识），对神经网络模型的可能参数进行了优化约束，从而使神经网络获得了更高的性能。特别是当实际采集的语音数据有限时，两级解码会更具优势。

目前，研究人员正在试验高密度电极阵列和更先进的人工神经网络，希望能进一步改善合成语音的效果。下一步的主要测试目标是确定一个不会说话的人能否不经过声道活动训练也能学会使用这项技术，并合成出准确的语音。

初步的研究结果表明，新技术可以通过志愿者的大脑神经活动合成全新的语句，几乎和训练算法时输入的语句一样好。即使志愿者只是默念，只要默念行为产生了相应的神经活动数据，该技术仍然能够准确合成可理解的句子。

研究人员还发现，声道运动的神经代码在不同的志愿者之间有部分重叠，某志愿者的声道模拟能够适应另一名志愿者的大脑神经指令。这些结果表明，因神经功能受损而导致言语障碍的人或许也能通过这项新技术发出准确的语音，装上可替换的“语音假肢”。

04

—

进一步改进的方向

无论是在语音重建的准确性方面，还是在听者对产生的单词和句子进行准确分辨的能力方面，这项研究结果为语言脑机接口的概念发展提供了有力的证据。

然而，在通往临床可行的语言脑机接口的道路上仍有许多挑战，脑机接口能否通过收集更大的数据集并继续改进底层的算法还有待进一步研究。另外，使用局部脑神经活动的神经接口可能比使用ECoG的技术更为有效。

目前所有的语音解码方法的另一限制是，因为前期需要进行大量的语音数据训练，语言脑机接口无法直接应用于不能说话的人。不过研究人员发现，当志愿者在不发声的情况下模仿语音时，尽管语音解码的准确率要低得多，合成仍然是可能的。无法说话的个体能否使用语言脑机接口，将是未来研究的一个重要问题。