专栏首页脑机接口眼动追踪与VR

眼动追踪与VR

虚拟现实创造了体验没有或不可能存在的世界的可能性。这种功能大大增加了研究人员的实验设置范围。测试场景不需要再受时间、安全、预算(甚至物理定律)等因素的限制。可以在VR中模拟任何东西。

虽然测试的可能性增加了,但也需要技术跟上。如果想测试(例如)飞行员在体验新的飞行模拟时的注意力,则需要有关他们所处位置的信息。这就是VR中眼球追踪的用武之地。下面,我们将介绍VR中的眼球追踪,并解释它与现实世界中的眼球追踪有何不同,以及它如何改善虚拟体验本身。

VR眼球追踪是如何工作的?


眼动追踪通常是通过连续测量瞳孔中心和角膜反射之间的距离来实现的--距离的变化取决于眼睛的角度。一种肉眼看不见的红外线会产生这种反射,同时摄像机会记录和跟踪这些运动。计算机视觉算法能够从眼睛的角度来推断注视的方向。

VR的原理是一样的,但有一个关键的区别——眼睛不一定指向人看的地方。在现实世界中,眼睛表现出所谓的“收敛”——眼睛的角度指向注视点的中心点(见下图)。

在日常生活中,如果能从每只眼睛的中心画一条线,那么这两只眼睛就会遇到相同的交叉点——也就是人们正在看的物体。在VR中,显示器被放置在离眼睛很近的地方,眼睛不一定会显示出发散状态,但是当然由于3D信息的呈现,仍然会有深度感。因此,VR眼球跟踪必须与不完整的注视信息[1]进行抗衡。

幸运的是,虽然眼睛的位置并不能说明一切,但我们确实有缺失的数据。通过结合虚拟现实环境中虚拟物体深度的信息,就有可能构建一个被观看对象的模型——一条虚拟线可以从眼睛的方向追踪到虚拟世界。

并不是所有的VR环境都必须有这些信息,这就排除了在这些场景中进行精确跟踪的可能性,但对于那些有这些信息的环境,可以进行眼动跟踪。

VR中眼动追踪的好处


由于渲染完整虚拟环境是一个计算量巨大的过程,因此必须找到减轻这种负担的方法,而把计算能力用在其他方面(例如,确保流畅的体验,扩展功能或图形外观)。

通过使用VR中的眼动跟踪信息,可以执行所谓的“中心凹形渲染”,即只渲染被观察环境中的那些元素。这样可以降低所需的处理能力,还可以创建一个更加身临其境的环境,在其中虚拟世界可以更紧密地表示现实世界。

这既反映了我们在现实世界中的真实体验——因为在虚拟环境中我们的周边视觉很大程度上是模糊的——也创造了一种更现实的深度感。研究人员此前曾指出,缺乏焦点模糊会导致“在虚拟环境中对物体大小和距离的感知不同”[1,2]。通过引入边缘模糊,增加了纵深感。这种模糊是由一种叫做“调节”的过程造成的,即眼睛的晶状体根据被观察物体的距离来调整焦距。

中心凹形渲染还可以提高体验的生态有效性(即实验模仿现实的程度)。通过创造更贴近现实生活的环境,虚拟现实中参与者的行为也可以被认为更贴近现实生活。研究人员可以越来越确信,实验的结果可以应用于虚拟世界之外。

这最终意味着,注意力跟踪过程可以被测量,并且由于眼球追踪的结果,可以被认为更真实。这为准确理解人类的行为提供了可能性,而在现实生活中,这种理解成本太高或不切实际。

VR眼球追踪研究


另一个使用VR眼动追踪的例子涉及到参与者驾驶一辆虚拟汽车,同时跟随一辆自动控制的虚拟汽车[4]。如果实验在真实世界中进行,研究人员能够让参与者置身于不安全的环境中,而没有任何危险。他们发现,与自动驾驶汽车相比,参与者的舒适度增加了,也增加了碰撞的风险——在自动驾驶汽车存在的情况下,这是保护驾驶员安全的一个关键因素。

在VR领域的进一步研究包括探索虚拟岛屿上的疾病诊断[5], (虚拟)社会互动和触觉反馈[6]的体验,以及在不需要建造[7]的情况下,测试建筑设计对返回感的影响等。对于未来的研究在虚拟现实-可能性几乎是无限的。

参考文献

[1] Clay, V., König, P., König, S. (2019). Eye Tracking in Virtual Reality. Journal of Eye Movement Research, 12, (1):3

[2] Eggleston, R., Janson, W. P., & Aldrich, K. A. (1996). Virtual reality system effects on size-distance judgements in a virtual environment. Virtual Reality Annual International Symposium, 139–146. https://doi.org/10.1109/VRAIS.1996.490521

[3] Makransky, G., Terkildsen, T. S., and Mayer, R. E. (2017). Adding immersive virtual reality to a science lab simulation causes more presence but less learning. Learn. Instr. doi: 10.1016/j.learninstruc.2017.12.007

[4] Brown, B., Park, D., Sheehan, B., Shikoff, S., Solomon, J., Yang, J., Kim, I. (2018). Assessment of human driver safety at Dilemma Zones with automated vehicles through a virtual reality environment. Systems and Information Engineering Design Symposium (SIEDS), pp. 185-190

[5] Taub, M., Sawyer, R., Lester, J., Azevedo, R. (2019). The Impact of Contextualized Emotions on Self-Regulated Learning and Scientific Reasoning during Learning with a Game-Based Learning Environment. International Journal of Artificial Intelligence in Education. https://doi.org/10.1007/s40593-019-00191-1

[6] Krogmeier, C., Mousas, C., Whittinghill, D. (2019). Human, Virtual Human, Bump! A Preliminary Study on Haptic Feedback. IEEE Conference on Virtual Reality and 3D User Interfaces (VR). DOI: 10.1109/VR.2019.8798139

[7] Zou, Z., Ergan, S. (2019). A Framework towards Quantifying Human Restorativeness in Virtual Built Environments. Environmental Design Research Association (EDRA).

https://imotions.com/blog/vr-eye-tracking/

本文分享自微信公众号 - 脑机接口社区(Brain_Computer),作者:Rose

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-02-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 应用深度学习EEGNet来处理脑电信号

    脑机接口(BCI)使用神经活动作为控制信号,实现与计算机的直接通信。这种神经信号通常是从各种研究透彻的脑电图(EEG)信号中挑选出来的。卷积神经网络(CNN)主...

    脑机接口社区
  • 信号处理之倒频谱原理与python实现

    倒频谱可以分析复杂频谱图上的周期结构,分离和提取在密集调频信号中的周期成分,对于具有同族谐频、异族谐频和多成分边频等复杂信号的分析非常有效。倒频谱变换是频域信号...

    脑机接口社区
  • 如何对单手和双手协同运动方向进行神经表征和解码?北理工研究团队给出了相关方案

    北京理工大学研究团队首次研究了基于脑电信号的单手和双手协同运动方向的神经表征和解码。被试佩戴由博睿康自主研发的基于NeuSen W32脑电系统的信号采集设备,在...

    脑机接口社区
  • 开放世界玩法、PC/VR双布局…尝试探索新题材的VR游戏《故土》表现如何?

    纵观当前VR游戏市场,以追求刺激感官为首要目的的VR游戏比比皆是,这些游戏产品也更多的为线下VR体验馆所接受。真正面向C端的VR游戏大作是近年来整个市场所缺失的...

    VRPinea
  • 撇开Gear VR,单独成立移动VR部,Oculus又在下大棋?

    VRPinea
  • VR新手入坑指南(下)|主机头显、VR外设货比“三”家,热门游戏集结!

    昨日,我们向大家简单易懂地科普了VR、AR、MR,以及全息投影之间的区别,并分享了VR手机盒子与VR一体机的剁手指南。而今日呢,我们将带大家聚焦主机VR头显、V...

    VRPinea
  • 玩《Pokemon Go》被枪杀!VR/AR的安全隐患究竟该怎么看?

    一起发生在2017年1月26日的枪杀案,在前几日得到了正式宣判。受害人是一位名为Jiansheng Chen的60岁华裔,26日晚上,Chen因外出游玩《Pok...

    VRPinea
  • 研究发现VR对疫情隔离有积极影响?这些VR娱乐或可一试

    2020年真的是太难了!突如其来的疫情让所有人措不及防。从年初的爆发发展至今,疫情虽然得到了有效的控制,但并没有完全消除。目前国外疫情重灾区主要以美国、印度为主...

    VRPinea
  • VR带来的变革-从猫扑看互联网发展(壹零贰)

    本文是从猫扑看互联网发展的最后一章VR初现篇的第三节,如果需要浏览前面两节可以从公众号的历史消息里查看。

    Leoo Bai
  • 2018年VR/AR十大关键词(八):TO VC-TO B/TO G

    编者按:临近年底,VRPinea又开始了2018年VR/AR十大关键词的盘点。今年VRPinea选择的关键词为5G、赋能、Magic Leap、虚拟偶像、《头号...

    VRPinea

扫码关注云+社区

领取腾讯云代金券