谷歌分享注视点渲染技术的新研究成果

显示器分辨率在不断提高,但图形处理能力并没有以同样的速度提升。注视点渲染技术通常被认为是下一代头显必备的能力,该技术能够让头显降低对显卡渲染的要求,显卡会集中渲染用户眼睛注视的区域,而在这之外的区域则逐层模糊显示。但现阶段,该技术并不能完全解决问题。为此,谷歌软件工程师经理 Behnam Bastani 和 Daydream 软件工程师 Eric Turner 最近分享了 AR/VR 注视点渲染的一些新研究成果。

Bastani 和 Turner 表示,通过他们的研究,当前在增强现实技术中,注视点渲染的限制是内容创建、数据传输、延迟以及与真实世界对象的交互。为了帮助解决这些问题,Bastani 和 Turner 概述了新管道中的三个主要研究领域:注视点渲染以减少每个像素的计算量,注视点图像处理以减少视觉伪影,以及通过降低每个像素传输的比特数来处理延迟。

传统的注视点渲染技术是将一个帧划分为几个离散的空间分辨率区域,这样做往往会引起明显的伪像,比如在低分辨率的内容区域中出现混叠现象。下面 GIF 图像中:左边显示的是完整的分辨率,右边则使用了传统的注视点渲染(中间有高清晰度区域)。

谷歌的研究人员介绍了两种方法来解决这些问题,分别是相位对齐注视点渲染和共形注视点渲染。

相位对齐注视点渲染

在相位对齐注视点渲染中,研究人员通过将平截头体(场景中几何形状的一部分)与世界(例如,始终面向北、东、南等)对齐,而不是与当前帧的头部旋转(传统的方式)对齐。

然后进行上采样,并重新投射到显示屏以补偿用户的头部旋转。根据他们的研究表明,这种方法减少了闪烁,你可以看到下面右侧图片中仍然存在一些锯齿现象,但对比左侧就没有那么波涛汹涌了。

研究人员表示,这种方法比传统方法要消耗更多的计算资源,因为它需要两次光栅化过程或者绘制图像,不过它在较低质量下渲染低敏锐度区域可以获得“计算资源节省”,但在高低敏锐度区域之间会产生明显的界线,而且可能会很明显。

共形注视点渲染

由于人眼观察事物的特征是从边边模糊平滑过渡到中间清晰,你可以利用这一点尝试在最终图像中准确地匹配这种过渡方式。

与其他技术相比,这样做可以减少计算像素的总数量,同时防止用户在高敏锐度区域和低敏感度区域之间看到清晰的分界线。Bastani 和 Turner 表示,这些好处允许“更优质的注视点渲染…同时在相同的质量水平下,能够节省更多的计算资源。”

与相位对齐注视点渲染不同,共形注视点渲染只需要一次光栅化。与相位对齐相比,共形注视点渲染的缺点是混叠伪影在外围仍然会闪烁,这对于需要高视觉保真度的应用来说可能不是很好。

你可以在上图右侧看到共形注视点渲染,其内容与眼睛的视觉感知和 HMD 透镜特征相匹配。左边显示的是传统的注视点渲染。两种方法都使用相同数量的像素。

注视点图像处理

在渲染之后和在你眼前播放 AR/VR 内容之前需要执行一些图像处理步骤,如局部色调映射,镜头畸变校正或照明混合。

在放大之前对内容进行镜头失真校正,可以获得显着的计算资源的节省,并且不会出现额外的可感知的伪像。在下面图片中你可以看到,虽然在合并低敏锐度和高敏锐度图像之前多了额外的步骤,但是由于效率更高,整体工作量更少。

注视点传输

由于谷歌非常专注于移动 VR/AR 应用,因此节省电量是需要重点解决的一个问题。“注视点传输”将通过传输显示器所需的最少数据量来节省功率和带宽。

将较为简单的放大和合并帧的工作移动到显示器端,并且只传输渲染的内容本身,这样可以节省电量。如果注视点区域与眼动追踪一起移动,则会出现复杂性。由于在 SoC 和显示器之间使用的压缩不是为注视点内容而设计的,所以可能会出现瞬时的伪像。

你可以在这里阅读完整的研究内容。它稍微有点技术性,但包括更多的图像供参考。

本文来自企鹅号 - VR科技网媒体

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

从零实现来理解机器学习算法:书籍推荐及障碍的克服

【编者按】并非所有的开发者都有机器学习算法的基础知识,那么开发者如何从零入门来学习好机器学习算法呢?本文总结推荐了一些从零开始学习机器学习算法的办法,包括推荐了...

3175
来自专栏大数据文摘

提升R语言的数据可视化效果的五个范例

2706
来自专栏数据科学与人工智能

【机器学习】从零实现来理解机器学习算法:书籍推荐及障碍的克服

并非所有的开发者都有机器学习算法的基础知识,那么开发者如何从零入门来学习好机器学习算法呢?本文总结推荐了一些从零开始学习机器学习算法的办法,包括推荐了一些合适的...

2519
来自专栏hadoop学习笔记

Python中调用自然语言处理工具HanLP手记

5.startJVM(getDefaultJVMPath(), "-Djava.class.path=C:\hanlp\hanlp-1.3.2.jar;C:\h...

430
来自专栏大数据文摘

如何优雅地测量一只猫的体积

1937
来自专栏机器学习之旅

应用:用户生命周期

用户生命周期是指用户从加入平台开始,熟悉平台,参与平台,最终流失的整个过程。用户的生命周期相对于自身而言,是一种参与度的变化,参与度也可以称之为活跃度。

1114
来自专栏大数据文摘

2017年数据科学15个最好用的Python库

1343
来自专栏华章科技

最让人纠结的等式:0.999...=1

此问题在国内外大大小小的网络社区里出现了无数多次,每次都能引来上百人激烈的争论,可谓是最经久不衰的老问题了。其实,在学术界里,这个问题也是出了名的争论热点。让我...

412
来自专栏新智元

【EMNLP2018干货】为NLP研究写出好代码(254页教程)

来源:专知(Quan_Zhuanzhi) 作者:{joelg,mattg,markn}@allenai.org

794
来自专栏IT派

“表”解机器学习

导语:在过去的几个月里,作者一直在专注于整理归纳AI的各类小要点。在被越来越多的朋友同事问及时,我决定将这些总结和心得的完整版分享给大家。为了增加内容的趣味性和...

3495

扫码关注云+社区