谷歌分享注视点渲染技术的新研究成果

显示器分辨率在不断提高,但图形处理能力并没有以同样的速度提升。注视点渲染技术通常被认为是下一代头显必备的能力,该技术能够让头显降低对显卡渲染的要求,显卡会集中渲染用户眼睛注视的区域,而在这之外的区域则逐层模糊显示。但现阶段,该技术并不能完全解决问题。为此,谷歌软件工程师经理 Behnam Bastani 和 Daydream 软件工程师 Eric Turner 最近分享了 AR/VR 注视点渲染的一些新研究成果。

Bastani 和 Turner 表示,通过他们的研究,当前在增强现实技术中,注视点渲染的限制是内容创建、数据传输、延迟以及与真实世界对象的交互。为了帮助解决这些问题,Bastani 和 Turner 概述了新管道中的三个主要研究领域:注视点渲染以减少每个像素的计算量,注视点图像处理以减少视觉伪影,以及通过降低每个像素传输的比特数来处理延迟。

传统的注视点渲染技术是将一个帧划分为几个离散的空间分辨率区域,这样做往往会引起明显的伪像,比如在低分辨率的内容区域中出现混叠现象。下面 GIF 图像中:左边显示的是完整的分辨率,右边则使用了传统的注视点渲染(中间有高清晰度区域)。

谷歌的研究人员介绍了两种方法来解决这些问题,分别是相位对齐注视点渲染和共形注视点渲染。

相位对齐注视点渲染

在相位对齐注视点渲染中,研究人员通过将平截头体(场景中几何形状的一部分)与世界(例如,始终面向北、东、南等)对齐,而不是与当前帧的头部旋转(传统的方式)对齐。

然后进行上采样,并重新投射到显示屏以补偿用户的头部旋转。根据他们的研究表明,这种方法减少了闪烁,你可以看到下面右侧图片中仍然存在一些锯齿现象,但对比左侧就没有那么波涛汹涌了。

研究人员表示,这种方法比传统方法要消耗更多的计算资源,因为它需要两次光栅化过程或者绘制图像,不过它在较低质量下渲染低敏锐度区域可以获得“计算资源节省”,但在高低敏锐度区域之间会产生明显的界线,而且可能会很明显。

共形注视点渲染

由于人眼观察事物的特征是从边边模糊平滑过渡到中间清晰,你可以利用这一点尝试在最终图像中准确地匹配这种过渡方式。

与其他技术相比,这样做可以减少计算像素的总数量,同时防止用户在高敏锐度区域和低敏感度区域之间看到清晰的分界线。Bastani 和 Turner 表示,这些好处允许“更优质的注视点渲染…同时在相同的质量水平下,能够节省更多的计算资源。”

与相位对齐注视点渲染不同,共形注视点渲染只需要一次光栅化。与相位对齐相比,共形注视点渲染的缺点是混叠伪影在外围仍然会闪烁,这对于需要高视觉保真度的应用来说可能不是很好。

你可以在上图右侧看到共形注视点渲染,其内容与眼睛的视觉感知和 HMD 透镜特征相匹配。左边显示的是传统的注视点渲染。两种方法都使用相同数量的像素。

注视点图像处理

在渲染之后和在你眼前播放 AR/VR 内容之前需要执行一些图像处理步骤,如局部色调映射,镜头畸变校正或照明混合。

在放大之前对内容进行镜头失真校正,可以获得显着的计算资源的节省,并且不会出现额外的可感知的伪像。在下面图片中你可以看到,虽然在合并低敏锐度和高敏锐度图像之前多了额外的步骤,但是由于效率更高,整体工作量更少。

注视点传输

由于谷歌非常专注于移动 VR/AR 应用,因此节省电量是需要重点解决的一个问题。“注视点传输”将通过传输显示器所需的最少数据量来节省功率和带宽。

将较为简单的放大和合并帧的工作移动到显示器端,并且只传输渲染的内容本身,这样可以节省电量。如果注视点区域与眼动追踪一起移动,则会出现复杂性。由于在 SoC 和显示器之间使用的压缩不是为注视点内容而设计的,所以可能会出现瞬时的伪像。

你可以在这里阅读完整的研究内容。它稍微有点技术性,但包括更多的图像供参考。

本文来自企鹅号 - VR科技网媒体

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏算法channel

朴素贝叶斯分类器:例子解释

在昨天推送了用一个例子引入贝叶斯公式的基本思想,然后用贝叶斯公式对一个很简单的问题做分类,最后引出来一个问题:后验概率 P(c | x) 的求解转化为求解 P(...

3436
来自专栏大数据挖掘DT机器学习

梯度下降原理及Python实现

梯度下降算法是一个很基本的算法,在机器学习和优化中有着非常重要的作用,本文首先介绍了梯度下降的基本概念,然后使用Python实现了一个基本的梯度下降算法。梯度下...

2805
来自专栏人工智能

神经网络与反向传播算法

1、前言 先简单的说下神经网络吧。 简单来说就是模拟大脑的神经元。 前端会有一大批数据输入,例如,前端输入了一张图像的所有像素点。 中间层会有成千上万个网络数据...

1846
来自专栏应兆康的专栏

ML中相似性度量和距离的计算&Python实现

在机器学习中,经常需要使用距离和相似性计算的公式,在做分类时,常常需要计算不同样本之间的相似性度量(Similarity Measurement),计算这个度量...

70516
来自专栏文武兼修ing——机器学习与IC设计

YOLOv2与YOLOv3学习笔记基本思路模型训练YOLOv3

9805
来自专栏郭耀华‘s Blog

1×1卷积的用途(Network in Network)

1×1卷积,又称为Network in Network ? 如果卷积的输出输入都只是一个平面,那么1x1卷积核并没有什么意义,它是完全不考虑像素与周边其他像...

5536
来自专栏null的专栏

机器学习中的常见问题——几种梯度下降法

一、梯度下降法 在机器学习算法中,对于很多监督学习模型,需要对原始的模型构建损失函数ll,接下来便是通过优化算法对损失函数ll进行优化,以便寻找到最优的参数θ\...

3245
来自专栏MelonTeam专栏

机器学习入门系列05,classification: probabilistic generative model(分类:概率生成模型)

引用课程:http://speech.ee.ntu.edu.tw/~tlkagk/courses_ml16.html 先看这里,可能由于你正在查看这个平台行...

2435
来自专栏瓜大三哥

Face Recognition via Deep Embedding(0.9977):baidu

作者提出了一种两部学习方法,结合mutil-patch deep CNN和deep metric learning,实现脸部特征提取和识别。通过1.2milli...

2518
来自专栏决胜机器学习

卷积神经网络(五) ——面部验证与神经风格转换

卷积神经网络(五) ——面部验证与神经风格转换 (原创内容,转载请注明来源,谢谢) 一、概述 本文主要讨论面部验证和神经风格转换两种技术,都是CNN的实际应用。...

2936

扫码关注云+社区