首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

苹果介绍Vision Pro基于神经科学技术的手眼协调控制

查看引用/信息源请点击:映维网Nweon

无需控制器,Vision Pro主要通过眼睛+手势进行操作控制

映维网Nweon 2023年06月10日)苹果的首款XR头显Vision Pro并不依赖物理控制器,而是通过眼睛和双手来与虚拟对象交互。在相关的开发者会议中,这家公司分享了具体的细节,包括常用手势和手眼协调操作。值得一提的是,这种眼睛+手势进行操作控制的用到了大量的专有神经科学技术。

眼睛

在visionOS中,你的眼睛注视点就是光标,就像通过移动鼠标来导航移动。当然,用户界面不会显示基于眼睛注视点的光标。但当你注视诸如图标等元素时,用户界面就会马上响应。

如上面的视频所示,你在用浏览扫视浏览图标时,你会看到相应的高光线索,并用于说明你已经选中它们。另外,注视菜单栏一定的时间后就会扩展子菜单,而你注视麦克风图标一定的时间后就会立即触发语音输入。

这主要得益于先进的眼动追踪系统,以及苹果研发的机器学习技术。对于后者,它围绕神经科学进行预判。由于大脑生物反馈,人类在执行特定行为前会产生瞳孔反应,所以苹果可以通过算法来进行预测,从而大大优化响应速度。

手势

眼睛可以帮助你自然地导航空间元素,而双手则可以帮助你自然地操作用户界面。对于不同的虚拟元素,你可以直接用双手进行直观的操作。例如,苹果介绍了一系列的常用手势操作。

Tap(拇指轻触一次食指):这个动作指示系统你要点击显示的虚拟元素,相当于轻触点击一下iPhone屏幕 。

Double Tap(拇指轻触两次食指):这个动作相当于双击iPhone屏幕 。

Pinch and Hold(拇指和食指捏合一段时间):这个动作类似于点击iPhone屏幕并按住一段时间,可执行突出显示文本等操作。

Pinch and Drag(拇指和食指捏合并拖动):这个动作用于滚动和移动窗口。你可以以特定角度滚动或移动窗口,如果用户加快手势速度,界面会相应地调整速度。

Zoom(左右手同时摆出食指拇指捏合,并向左右两边拉开):这个动作可用于放大窗口大小。

Rotate(右手同时摆出食指拇指捏合,并顺时针旋转):这个动作可用于操纵虚拟对象的方向。

当然,长期的悬空操作会造成疲劳。所以苹果鼓励你把手放在膝盖并执行手势。由于Vision Pro搭载的先进摄像头和软件算法,系统依然能够精确地捕获分析。

手眼协调

在介绍完眼睛导航和手势操作外,苹果进一步演示了手眼协调。利用先进的眼动追踪和机器学习,系统可以监测用户的注视点,并预测用户希望执行的手势操作。

以上面的GIF动图为例,在一张自然景色图片中,系统可以追踪用户的注视点,并预判用户是希望执行放大操作。所以当用户实际执行Zoom(左右手同时摆出食指拇指捏合,并向左右两边拉开)这个动作时,系统可以迅速响应,而用户注视的区域(黄色圈圈)可以马上放大。

显然,这可以带来非常无缝和流畅,而且十分自然的体验。

更多相关介绍请浏览上面的20分钟视频。其中,一开始至2:21分是概要。2:22开始是关于眼睛导航;12:21分开始是手势操作;而18:36之后则是总结。另外,你可以访问苹果开发者官网。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20230612A03BHT00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券