一群纽约大学的学生创建了一款可实时翻译手语的AR应用

前段时间， VR网(微信公众号：VR平台)曾报道过Magic Leap公布了一项新的专利申请。

新的专利申请说明和图纸概述了使用头戴式设备检测和翻译手语的方法。然而, 新专利信息的另一部则分详细说明了使用头戴式设备识别标识和文字翻译的能力, 并将该文本转化为头戴式耳机上的信息。Magic Leap将这种方法称为手语和文本翻译的"感觉眼镜"。

尽管Magic Leap计划在不久的将来推出这项智能眼镜的手语翻译技术，但是纽约大学的学生们已经证明, 这样的功能在今天的智能手机和原型应用中是可能实现的。

使用计算机视觉和增强现实技术，ARSL应用程序允许用户用智能手机摄像头捕捉手语，并将实时翻译应用到他们的母语中。反过来，这个应用程序可以将口语翻译成手语。

这个原型是由Heng Li、Jacky Chen和Mingfei Huang共同开发的, 他们是纽约大学Tandon工程学院计算机科学专业的学生。他们通过纽约大学媒体实验室和Verizon合作的Connected Futures Prototyping and Talent Development项目进行了这项研究，该项目旨在投资于新兴技术, 特别是虚拟现实、增强现实和人工智能。

“我们在AR/VR实验室的Envrmnt团队中与优秀的导师合作，并创造了奇迹，”Envrmnt的XR产品开发总监Christian Egeler在一份声明中说。 "当我们让他们参与到领先项目时, 我们发现了下一代人才, 这将会构建未来的技术。"

今年, 该项目将资助十几个项目, 包括手语翻译应用程序。其他通过审核的应用程序还包括即兴表演，多用户体验，让非音乐家有能力演奏音乐等。

纽约大学媒体实验室的执行董事Justin Hendrix表示：“纽约大学媒体实验室对于能够有机会与大学的技术天才教师和学生一起共事感到非常激动。”“我们很高兴能继续推进虚拟现实、增强现实和人工智能领域的原型设计。”这些领域仍然是纽约市媒体实验室关注的重点领域，特别是随着第一个公共资助的VR/AR中心的发展，实验室正在与NYU Tandon工程学院合作开发。

（建议在wifi环境下观看 土豪随意）

“尽管我们知道，我们只是探索了手语翻译冰山一角。为这个全球性的问题，我们希望继续采访我们的最终用户，以了解他们的见解” ，Heng Li说：“我们也希望能采访到一些专家，来了解其他新兴技术能在计算机视觉上起到什么作用”。

VR平台 ｜ VR网公众号