人工智能为听障学生打造全新课堂

编者按：对于听障学生来讲，如果能紧跟老师课堂的节奏、尽快掌握知识该有多么幸福！最近，Microsoft Translator就走进了大学课堂，不仅能将老师的口语转化为实时字幕，还能将翻译的文字结果保存在手机中，帮助学生们轻松学习。本文译自微软人工智能博客文章“AI technology helps students who are deaf learn”（有删减）。

在美国罗切斯特理工学院一堂普通的生物课上，除了有站在讲台上授课的教授，旁边还有负责将教授上课内容翻译为手语的翻译员，以及在课堂大屏幕上显示的实时字幕。坐在台下上课的有不少是有听力障碍的学生。

罗切斯特理工学院生物课堂

罗切斯特理工学院有大约1500名听力存在障碍的学生，而其中的大约700名学生会和健听学生一起上课，他们通过综合利用手语翻译员和实时字幕中的信息来掌握课堂知识。而让课堂内容实时以字幕形式呈现的就是来自微软的Microsoft Translator，该系统利用自动语音识别功能将教授原始用口语讲解的内容转化为流畅的、含标点符号的文字。目前，Microsoft Translator能提供60多种语言的实时翻译服务。

现在，微软正在和罗切斯特理工学院九所学院之一的National Technical Institute for the Deaf（NTID）进行合作，通过使用微软的AI语音和语言技术帮助听障学生更好地进行课堂学习。

Joseph Adjei

Joseph Adjei是这所学校大一的学生，他在7年之前失去了听力。“当我第一次看到课堂上的实时字幕时，我感到非常激动”Joseph Adjei说，“课堂上显示的实时字幕让我可以更好地跟上课程并且掌握正确的专业术语的拼写方式。”上课时，Joseph Adjei的视线会在手语翻译员、教室实时字幕和手机上Microsoft Translator页面切换，这三者之间的配合能让他完整地参与课堂。而手机上的Microsoft Translator App还能帮助他和班里其他听力正常的同学在课下进行交流。

提高

听障学生的课堂学习质量

对于听障学生来说，如果只依靠手语翻译员的翻译来参与课堂，那课堂的沉浸度难免会大大降低。设想这样一个场景，老师一边在黑板上书写公式一边进行讲解，健听学生可以边听边抄写这个公式，但是听障学生却需要暂时停止观看手语翻译员的手势，看看黑板上到底写了什么。这样一来，他们就会错过很多课堂信息，自然而然对这个课堂的参与感也会大大降低。

罗切斯特理工学院为了解决这个问题，雇佣了140名全职的手语翻译员和50多名实时字幕输入员，字幕输入员利用学校自己开发的C-Print技术将字幕实时显示在听障学生的电脑上。除此之外，许多学生会共享他们的课堂笔记，以帮助听障学生不错过课堂内容。但随着越来越多的听障学生进入课堂，这些方法无法满足所有人的需求。因此，罗切斯特理工学院需要一种更好的解决方案——借助自动语音识别技术。

自动

语音识别技术

罗切斯特理工学院最初在自动语音识别技术上的研究并不顺利，因为机器很难理解科学和技术术语，生成的文本可读性也比较低。比如，如果一位老师在谈论9·11事件，系统只会拼写出“n-i-n-e-l-e-v-e-n”，却不能进一步为用户提供一种更加易于辨认和理解的文字形式。

为了解决这一问题，罗切斯特理工学院的研究人员开始与微软机器翻译团队合作，共同开发了专门针对课程材料的自定义语言模型，并在课堂上试用添加了这一技术的

Presentation Translator

。为了建立这些语言模型，研究人员从一些教授近十年来所用的课件演示文稿以及之前通过C-Print技术手动生成的字幕中挖掘了大量的数据资源。进而，在微软认知服务的自定义语音服务（Custom Speech Service）中利用这些数据以构建特定领域单词的发音模型，当说话人再说到这些单词时，系统就能轻松地识别并在实时记录中显示为对应的文本。

不仅如此，Microsoft Translator的实时字幕还能为手语翻译员所翻译的信息做出补充和完善。事实上，手语翻译员有时也会漏掉一些课堂信息，某些科学术语也很难表达，对此，实时字幕则可以很好地进行补充。但手语翻译员也有他们的优点，比如他们可以用一个动作表达很多单词的意思。所以在未来的课堂中，Microsoft Translator并不会取代手语翻译员，而会辅助他们的翻译工作，两者之间相互配合，共同帮助学生更好地学习课堂知识。

除此之外，字幕这种沟通渠道也可以帮助更多普通人获得信息。Microsoft Translator的手机应用程序允许学生保存教师授课的口语转换结果。借助于Microsoft Translator的帮助，不仅听障学生能够更好地参与到课堂教学中，更加连贯、完整地接收课堂知识，更多的健听学生也可以更加轻松、高效地学习。

微软技术院士，负责微软语音、自然语言和机器翻译工作的黄学东表示“语言是驱动人类进步的动力，它增强了人们之间的合作、沟通和学习”。近年来，深度学习的引入使得语音识别技术有了快速的发展。去年8月份，微软在Switchboard对话语音识别任务中已经将错误率降低到了5.1%，可与专业速记员比肩。利用这项技术的不断突破，我们希望可以帮助更多人更好地学习和沟通。