日本学者神研究：追剧学英语两不误，眼动数据分析为你定制专属字幕

大数据文摘出品

作者：魏子敏、蒋宝尚、Andy

和多数美剧爱好者一样，文摘菌这些年也一直听说，刷美剧是学习英文的最好方法。

但是，这样“学习”的过程可谓十分煎熬了，常常是关了字幕练听力，一会就睡着了；而全部打开字幕的话，我的眼里就只有中文了。一部剧看下来，既没有学到几个单词，还牺牲了看剧的乐趣。

到底怎样才能科学追剧学英语呢？

不止文摘菌，英文水平一直普遍被吐槽的日本盆友们也是深受“学英语”之困。不过近日，日本研究人员真的开发出了一套看剧学英语的神器：可以通过记录你观看美剧时候的眼动，推测你的真实英文水平，再通过机器学习分析，定制你的专属美剧字幕。

听起来是不是非常有效且不痛苦，先看看这个神奇的工具是怎么运作的?

东京大学和索尼计算机科学实验室的研究小组，发布了一款英文学习系统“SubMe”。它可以通过跟踪用户观看带字幕视频时的视线移动来估计出英语水平，并且构建适合该用户英语水平的英语学习材料。

研究项目的论文名字为《SubMe: An Interactive Subtitle System with English Skill Estimation Using Eye Tracking》，作者是日本学者Katsuya Fujii和Jun Rekimoto ，两位分别来自东京大学和索尼计算机科学实验室的研究小组。

这篇论文也发布在2019年的增强技术国际会议上（Augmented Human International Conference 2019）。

论文下载链接：

https://rekimotolab.files.wordpress.com/2019/03/a23-fujii.pdf

据两位研究者介绍，这一研究的想法最初来源于一门心理学课程，这门课要求学生们记录下用户观看《星球大战》片头滚动字幕时视线的移动范围。

Katsuya和Jun在整合记录时发现，观影者的视线范围变化非常大，且主要区别是在英文的听力水平上，英语水平较低的用户往往有更多的纵向视线移动，而英语水平较高的用户则更多聚焦在屏幕下方。

(a)英语水平较高的观看者的视线追踪图。(b)英语水平较低的观看者的视线追踪图。

两人觉得这一分析结果非常有趣，说不定可以为第二语言学习者提供一个更好的学英文方法。

于是，基于这项分析，Katsuya和Jun就开启了这项可以通过视线移动区分英语水平的研究。

两人提出了一套系统，可以先通过观看带字幕视频时用户的视线移动，来估计每个用户的英语水平，之后通过搜集到的数据，让当前级别需要学习的英语单词的日语翻译和字幕一起显示。

SubMe系统的重要硬件：眼动仪

这一系统的运行首先需要一种目前发展十分成熟的硬件条件：眼动仪。

其实通过分析眼球运动轨迹数据来预测人类阅读理解能力已经有很多研究。对阅读的眼动研究可以追溯到19世纪，较著名的书有1897年Quantz的《阅读心理学中的问题》，1906年Dearborn的《阅读心理学》和1908年Huey的《阅读心理学和教育学》。

随着技术的发展，眼部追踪装置—眼动仪的精度已经变得非常高，所以记录眼睛运动轨迹可以像监控其他生命活动一样具有较高的可行性。

眼动追踪技术对网站页面布局的研究也使用户感觉更加顺畅舒适，在浏览页面习惯性的注视动作上，优化网站页面的内容，使浏览者更便捷的找到自己所需要的内容。具体的说，眼动追踪技术通过记录被测试人员的眼睛运动轨迹，一方面来分析用户的眼动轨迹和浏览习惯，另一方面完整而客观的还原用户对页面各部分的视觉注意力、注视轨迹和关注质量。

Katsuya和Jund使用的是连接到PC的Tobii EyeTracker 4C装置，记录各个英语级别用户的视线移动状况，之后进行分析。

值得一提的是，这一分析并不是基于单词的，而是基于每行字幕的眼睛注视次数和所用的时间的。

分析结果表明，英语水平较低的用户倾向于有更高的注视数，并在字幕上花费更多时间。

视线追踪可视化的图：(A)英语母语观看者；（B)英语高级别观看者；(C)英语低级别观看者

软件：机器学习帮你定制专属字幕

之后，研究者将分析结果输入随机森林来进行机器学习。

首先，他们用当代美国英语语料库(COCA)来计算每个单词的难度。再获得用户可能理解不了的所有字幕的平均分数（分数越低，未知单词越多），从获得的值来估计用户的英语水平，然后显示最适合用户的英语学习材料。

作为显示的方法之一，可以根据每个用户的英语水平，只将可能不知道的英语单词翻译成日语显示在字幕上。

通过在字幕上面同时显示可能不知道的英语单词来进行英语学习。（日语字幕：dating：在约会）

通过这种方式，用户就可以一边看陌生单词的翻译，一边看字幕，从而更好地理解视频，进而可以同时通过这样最适合自己英语级别的学习进行更有效的学习。

全球英语学习者都在看的《老友记》与subme字幕的结合

总结一下subme系统，看美剧学英语的过程也就一目了然：

1、首先，观看一部美剧，通过记录眼动确认你看字幕的频率；

2、据此估算出你的英文水平，然后为你选择适合自己英文水平的剧集；

3、根据你的英文水平定制专属字幕，只定向翻译陌生词汇；

4、英语水平迅速提升。

根据研究结果，subme系统下，看美剧“学新单词”的效果比常规字幕有显著提升。

并且，神奇的是，根据用户反馈，在学习英文的同时，这种观影方式也可以让用户的享受指数有较高的提升，可谓真正的“看剧学习”、“寓教于乐”啦。

用户反馈问题三：使用这个工具时，你的观影体验有得到提升吗？多数用户对这个问题给出了“同意”的答复。

最后，希望这个研究能早日进入业界，文摘菌一定先去预定一套。