东北大学学生研发“手语发声”手环 实现聋哑人与外界无障碍交流图

李荣颉正在演示供聋哑人交流使用的“神奇手环”

央广网沈阳7月8日消息（记者郭威）东北大学三名学生研发出一种“手语转换发声”手环，通过连接服务器可以让手语发声，并把外界语音转化为文字，实现聋哑人和外界的无障碍沟通。5月18日，该项目获得了2018“未来力大会”大学生社会创新大赛全国总冠军。今年10月，该团队将代表中国前往美国硅谷参加2018创行世界杯总决赛。

“你好，我们帮助聋哑人交流，请大家支持我们，谢谢！”随着佩戴着手环的李荣颉所做的手语动作，平板电脑上清晰的发出了完整意思的语音。让聋哑人与完全不动懂手语的健全人进行交流，这一看起来“不可完成”的任务，就这样在东北大学李荣颉、曾振、贺萧三个大三学生的手中成为了现实。李荣颉说：“企业做1到1万的商业转化，而学生实验室可以不计回报地做从0到1的技术研发。经过各种各样的努力，这个算法模拟出各种问题之后，第一次做的手势发出声音时，真的特别开心。”

在机器人科学与工程学院教师王斐的指导下，这个由三个大学生组成的团队研发出了一套基于多源信息融合的手语双向识别系统。通过连接服务器把手语动作转化为语句，同时还可以把外界语音转化为文字。与传统基于视觉的手语识别方法相比，可避免光照、遮挡、干扰和手指细微动作无法捕捉等严重缺陷，在便携实用的同时，保证了识别的实时性和准确性。王斐介绍：“视频捕获抓肢体的动作没有问题，就像体感游戏，但是手指的动作是采不到的，还有外界自然光的干扰。而手环的优势是，手指在做动作的时候是由手臂的肌肉来牵引的，表面就有微弱的电信号，通过这个设备也可以清晰地采集到。”

王斐教授正在和学生们分析交流研发问题

在研发过程中，团队曾遇到了智能硬件核心技术的瓶颈问题，开发到一定程度就受制于国外的技术封锁，无法再进行深层次开发。为了能够做到从软件到硬件都是自有技术，团队经历了千万遍枯燥重复的实验和数不清的“推倒重来”。王斐说：“硬件的困难主要体现在微弱电信号、生理电信号的采集、放大还有处理。软件的难度则是如何能够把手语拆成单体的手语，在这个模型里组合，从语句变到句子，是最难的也是将来能够保住自己东西的壁垒。”