机器之心报道
机器之心编辑部
千万种声音里,只听到你。
最近几年来,很多人都在使用降噪耳机。这种设备能让人在吵闹的环境中享受安静,安心地听音乐或工作。
通常,降噪耳机会通过内置的芯片算法对外界噪音信号进行计算,然后由喇叭发出反向声波进行抵消的方式创造安静环境。
近日,华盛顿大学的一个团队开发了一种 AI 系统,让戴着耳机的用户看着说话的人三到五秒钟来「记录」他们。
视频:https://www.youtube.com/watch?v=ArGKgodEUSo
对这种有点像碟中谍电影里的黑科技,人们纷纷表示欢迎:
也有人表示,它或许能拯救很多婚姻:
华盛顿大学团队于 5 月 14 日在檀香山举行的 ACM CHI 计算机系统人因会议上展示了他们的研究成果,还获得了大会的最佳 lunwen。概念验证设备的代码已经开源,可供他人使用。
要使用该系统,佩戴配有麦克风的常规降噪耳机的人只需要点击按钮,同时将头转向正在说话的人。
然后,来自该说话者声音的声波会同时到达耳机两侧的麦克风,误差幅度为 16 度。耳机将该信号发送到板载嵌入式计算机,其中的机器学习软件会在那里学习所需说话者的声音模式。
系统会锁定该说话者的声音,并继续将其播放给听者,即使这对说话者不断变化站位,四处走动也能保持跟随。
随着说话者不断讲话,AI 系统关注注册声音的能力会不断提高,从而为系统提供更多的训练数据。
作者表示,该研究的主要贡献包括:
具有噪声消除功能的端到端目标语音听力系统。(b)一对 Sony WH-1000XM4 耳机在各个频率下启用和不启用主动噪声消除的噪声隔离性能。低频下较大的值是由于入耳式麦克风拾取了佩戴者的声音。(c)模型推理时间的 CDF 图,包括和不包括从输出到输入的缓存缓冲区副本。
「如今,很多人把人工智能等同于基于网络的聊天机器人,可以回答问题,」华盛顿大学保罗・G・艾伦计算机科学与工程学院教授、该研究主要作者 Shyam Gollakota 说道。「但在这个项目中,我们开发的 AI 可根据佩戴耳机的人的偏好来改变他们的听觉感知。有了我们的设备,即使身处嘈杂的环境中,有很多人在说话,你现在也可以清楚地听到单个说话人的声音。」
该团队对 21 名志愿者测试了该系统,受试者对已注册说话者声音清晰度的评分平均几乎是未过滤音频的两倍。
据介绍,这项研究建立在华盛顿大学之前的「Semantic Hearing」研究的基础上(论文《Semantic Hearing: Programming Acoustic Scenes with Binaural Hearables》),该研究允许用户选择他们想听到的特定声音类别(例如鸟叫声或声音),并消除环境中的其他声音。
目前 TSH 系统一次只能注册一个对话人,且只有在没有其他巨大声音从目标说话人相同方向传来时才能注册说话人。如果用户对音质不满意,则可以对说话者进行另一次注册以提高清晰度。
该团队表示,在未来这样的系统可以扩展到耳塞和助听器等更多设备上。
参考内容:
https://www.washington.edu/news/2024/05/23/ai-headphones-noise-cancelling-target-speech-hearing/
© THE END
转载请联系本公众号获得授权