专栏首页思谱云汇人工智能人工智能如何通过眼球运动测量语言能力
原创

人工智能如何通过眼球运动测量语言能力

这项研究跟踪眼球运动,以确定人们对英语作为第二外语的理解程度

麻省理工学院研究人员的一项研究发现了一种判断人们学习英语水平的新方法:跟踪他们的眼球运动。

没错。研究小组通过人工智能技术,利用安装在读者眼睛上的摄像机生成的数据发现,眼球的运动模式——特别是人们眼睛停留在某些单词上的时间——与作为第二语言的英语标准化测试的表现密切相关。

麻省理工学院脑与认知科学系(BCS)的博士后、概述这项研究的一篇新论文的合著者叶夫格尼•贝尔扎克说:“在很大程度上(眼球运动)捕捉到了语言能力,因为我们可以根据标准化测试的基准来衡量它。”他补充道:“在阅读过程中,眼球运动的信号非常丰富,信息也非常丰富。”

事实上,研究人员甚至认为这种新方法作为一种测试工具有潜在的用途。“它有真正的潜在应用,”罗杰·利维说,他是麻省理工学院脑与认知科学系的副教授,也是该研究的另一位合作者。

这篇论文“从阅读中的眼球运动来评估语言能力”,发表在计算语言学:人类语言技术协会北美分会第16届年会论文集上。作者是麻省理工学院脑与认知科学系计算心理语言学组的博扎克,麻省理工学院计算机科学和人工智能实验室(CSAIL)的首席研究科学家和信息实验室小组负责人鲍里斯·卡茨,以及BCS计算心理语言学实验室的主任利维。

人工智能如何通过眼球运动测量语言能力

连续性的错觉

这项研究深入探讨了一种我们可能永远不会注意到的阅读现象,不管我们读了多少:我们的眼睛不会沿着一系列文本连续移动,而是固定在特定的单词上长达200到250毫秒。我们还可以从一个词跳到另一个词,这可能持续大约1/20秒。

利维说:“虽然你有一个连续、流畅的文本阅读主观体验,但这绝对不是你眼睛所做的。”“你的眼睛跳来跳去,大多是向前,有时是向后。你的头脑将这样一个断断续续的过程平稳地缝合在一起。…这证明了心灵创造幻觉的能力。”

但如果你正在学习一门新语言,当你试图理解课文时,你的眼睛可能会停留在特定的单词上更长的时间。由于这个原因,眼睛运动的特殊模式可以揭示很多关于理解的东西,至少当在一个明确定义的上下文中进行分析时。

为了进行这项研究,研究人员使用了Berzak关于眼球运动记录的大数据信息。该数据集有145名英语作为第二语言的学生,几乎平均分为四种母语——汉语、日语、葡萄牙语和西班牙语,以及37名英语母语者。

给这些学生156个句子的阅读文本,其中一半是“固定测试”的一部分,研究中的每个人都阅读相同的句子。视频片段使研究小组能够集中关注一系列的持续时间——读者关注特定词语的时间长度。

研究小组称这组指标为“眼球分数”,在评估了它与密歇根大学英语考试(MET)和托福英语考试(TOEFL)的相关性之后,他们在论文中得出结论,眼球分数评估法通过标准化的测试产生了更好的结果。进一步巩固了对人们获得熟练语言程度的方法的猜想。

因此,作者写道,新的方法是“第一个证明概念的系统——通过对眼球运动的跟踪来衡量语言能力。”

逐句

另外有学者说,这项研究是对该课题研究文献的有趣补充。

澳大利亚悉尼麦格理大学(Macquarie University)心理学系主任埃里克·雷切尔(Erik Reichle)说:“(在研究中使用的)这一方法非常创新,而且在我看来,眼球跟踪技术非常有潜力。”Reichle补充说,他相信该论文“将在许多不同领域产生巨大影响,包括那些与第二语言学习更直接相关的领域。”

正如研究人员所看到的,目前的研究仅仅是探索语言与认知相互作用的漫长旅程中的一小步。

正如卡茨所说,“更大的问题是,语言如何影响你的大脑?他指出,鉴于我们在过去几千年内才开始处理书面文本,我们的阅读能力就是大脑“惊人的可塑性”的实证。不久之后,他补充道,“我们就可以开始回答这些问题了。”

利维认为,也许可以让这些关于阅读的眼球跟踪测试更加具体。专家们不必像目前的研究那样,通过156个句子的语料库来评估读者的理解力,而是能够对更小的文本串做出更为明确的判断。

利维说:“例如,我们希望在未来做一件我们还没有做过的事情,那就是逐句地问,我们能在多大程度上通过你读句子时所做的眼球运动来判断你对句子的理解程度。”“这是一个没有人回答的开放性问题。我们希望将来能够做到这一点。”

这项研究部分由麻省理工学院的“大脑、意识和机器中心”通过国家科学基金会资助。

(引自麻省理工学院新闻办公室)

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 人工智能大大减少了全球贸易中的语言障碍

    近年来,机器学习和人工智能迅速出现,为提高商业效率带来了希望。与此同时,研究人员几乎没有发现任何证据支持劳动生产率和经济活动因此取得的进展。

    思谱云汇
  • 利用人工智能帮助警方判断罪犯危险程度

    工作在一线的警察正在对剑桥大学犯罪学家研发的人工智能系统进行试验,以利用过去的五年犯罪史统计指导警方的工作。

    思谱云汇
  • 人工智能引领现代农业的未来

    使植物味道好的原因是什么?对于麻省理工学院媒体实验室的科学家来说,这需要植物学、人工智能算法和一些老式的化学知识的结合。

    思谱云汇
  • AI通过跟踪人眼预测人格特征

    人们常说,眼睛是灵魂的窗口,揭示了我们的想法以及我们的感受。现在,新的研究表明,你的眼睛也可能是你的性格类型的指标。

    AiTechYun
  • WebGL进阶——走进图形噪声

    导语:大自然蕴含着各式各样的纹理,小到细胞菌落分布,大到宇宙星球表面。运用图形噪声,我们可以在3d场景中模拟它们,本文就带大家一起走进万能的图形噪声。

    Yone
  • Codis集群搭建摘要

    准备方案 Golang环境搭建 环境搭建很简单,下载go1.4.2.linux-amd64.tar.gz安装包,直接解压并添加到环境变量就可以。 假设解压到/u...

    小小科
  • 基础知识-网络-TCP四次挥手

    TCP连接是全双工的,所以客户端client到服务端server的连接需要关闭,同理server到client的连接也需要关闭。所以TCP四次挥手做的事...

    BUPTrenyi
  • 谷歌携手恩智浦发布发布:端到端开源机器学习平台

    今天凌晨,谷歌一年一度的TensorFlow开发者大会在加州举行。明明应该是一场软件盛会,却被生生开出了硬件发布会的味道。

    刘盼
  • JS逆向之国航登录

    网站如下:http://www.airchina.com.cn/www/jsp/userManager/login.jsp 下面是登录的抓包:

    Python编程与实战
  • torch.stack()

    d[0][0]的位置是由a[0][0]  的 [1]   , b[0][0] 的 [10],  c[0][0] 的 [100] ,这3个 元素叠加构成的一个si...

    于小勇

扫码关注云+社区

领取腾讯云代金券