Sceince子刊：利用AI+脑电波，锁定你想听的声音

【新智元导读】哥伦比亚大学的工程师们宣布一项实验技术，该技术可模仿大脑检测和放大许多声音的天生能力。这种由大脑控制的助听器由人工智能驱动，可作为自动过滤器，监控佩戴者的脑电波并增强他们想要关注的声音。虽然仍处于早期开发阶段，但该技术是迈向更好助听器的重要一步，使佩戴者能够无缝，高效地与周围的人交谈。

人类大脑具有非凡的能力，可以在嘈杂的环境中挑选出特定的声音。比如，在嘈杂的酒吧里留意中意对象的说话、在车水马龙的街道分辨身后来车等等。

这在人类来说很轻松就能做到，可连最先进的助听器也无法实现。不过，哥伦比亚大学的工程师们正在改变这种情况。

他们宣布已经实现一项技术，可以模仿大脑天生具备的检测并放大特定声音的能力，并开发出一款由大脑控制的助听器。

助听器由AI驱动，可作为自动过滤器，监控佩戴者的脑电波并增强他们想要关注的声音，从而能够让佩戴者无缝并高效地与周围的人交流。

论文发表在Science Advances上。据悉，一作Cong Han在杭州科技大学获得学士学位，在哥伦比亚大学获得硕士学位。

鸡尾酒会难题

哥伦比亚大学Mortimer B. Zuckerman Mind Brain Behavior Institute的主要研究员和该论文的资深作者Nima Mesgarani博士说，处理声音的大脑区域非常敏感，也非常强大，可以毫不费力的放大一个特定声音而不牵扯其他声音，今天的助听器却做不到。

那么通过创造一种利用大脑本能的助听设备，有望使全球数亿听障人士能够像普通人一样轻松地进行交流。

现代助听器在降噪方面已经做的非常出色了，但实现的过程却是通过提高特定种类的声音，使其盖过其它背景音。科学家称之为鸡尾酒会难题。

想象一下，我们在一个嘈杂的鸡尾酒会，不仅每个人都在说话，大厅还放着BGM。为了让身边的人听清楚你不得不提高嗓门说话，而旁边的人为了让你听清楚也不得不提高自己的音量。

哥伦比亚工程公司电气工程副教授Mesgarani博士说：“助听器会立刻放大所有人的声音，你仍然无法将你的谈话对象和其他人区分出来”

用脑电波来放大特定声音

为什么会想到利用脑电波呢？Mesgarani称他们发现两个人在交谈的时候，讲者的脑电波开始和听着趋同。

于是该团队将语音分离算法与神经网络、以及模仿大脑自然计算能力的复杂数学模型相结合，开发了一款脑控助听器，使用脑电波来判断哪些声音应该被放大，哪些声音应该被抑制。

具体实现方式如下：

首先从一个组中分离出每个说话者的声音。设备自动将多个扬声器分离成单独的流，然后将每个扬声器与来自用户大脑的神经数据进行比对。一旦某人的声音模式与听者的脑电波匹配度最高，他的声音就会被放大。

其实团队早在2年前就发布了这项技术的初代版本，但限于预训练数据集，效果刚开始不是很理想。比如一旦出现不在数据集的声音，比如来个路人问路，系统就凌乱了。

好在哥伦比亚科技风险投资公司的资助下，团队对原始算法进行了改进，Mesgarani博士、第一作者Cong Han和James O'Sullivan博士再次利用深度神经网络，构建了一个更加复杂的模型，从而能够识别任何人声，从而解决了上述问题。

室内测试显示，效果还不错

为了测试该算法的有效性，研究人员与Northwell Health Institute for Neurology and Neurosurgery的神经外科医生Ashesh Dinesh Mehta合作，找来志愿患者听取不同的讲者发言，研究人员利用植入患者大脑的电极直接监测他们的脑电波、

当患者专注于一个扬声器时，系统会自动放大该声音。当他们的注意力转移到另一个扬声器时，音量水平发生变化以反映这种转变。

接下里，研究人员希望不用植入大脑这种太过简单粗暴的方式，例如将其置于头皮外部或耳朵周围。

目前为止只在室内环境中进行了测试，Mesgarani博士说未来有望在室外环境也实现相同的效果。

参考链接：

https://medium.com/predict/can-our-minds-live-forever-29105faf2d80