谷歌分享注视点渲染技术的新研究成果

显示器分辨率在不断提高,但图形处理能力并没有以同样的速度提升。注视点渲染技术通常被认为是下一代头显必备的能力,该技术能够让头显降低对显卡渲染的要求,显卡会集中渲染用户眼睛注视的区域,而在这之外的区域则逐层模糊显示。但现阶段,该技术并不能完全解决问题。为此,谷歌软件工程师经理 Behnam Bastani 和 Daydream 软件工程师 Eric Turner 最近分享了 AR/VR 注视点渲染的一些新研究成果。

Bastani 和 Turner 表示,通过他们的研究,当前在增强现实技术中,注视点渲染的限制是内容创建、数据传输、延迟以及与真实世界对象的交互。为了帮助解决这些问题,Bastani 和 Turner 概述了新管道中的三个主要研究领域:注视点渲染以减少每个像素的计算量,注视点图像处理以减少视觉伪影,以及通过降低每个像素传输的比特数来处理延迟。

传统的注视点渲染技术是将一个帧划分为几个离散的空间分辨率区域,这样做往往会引起明显的伪像,比如在低分辨率的内容区域中出现混叠现象。下面 GIF 图像中:左边显示的是完整的分辨率,右边则使用了传统的注视点渲染(中间有高清晰度区域)。

谷歌的研究人员介绍了两种方法来解决这些问题,分别是相位对齐注视点渲染和共形注视点渲染。

相位对齐注视点渲染

在相位对齐注视点渲染中,研究人员通过将平截头体(场景中几何形状的一部分)与世界(例如,始终面向北、东、南等)对齐,而不是与当前帧的头部旋转(传统的方式)对齐。

然后进行上采样,并重新投射到显示屏以补偿用户的头部旋转。根据他们的研究表明,这种方法减少了闪烁,你可以看到下面右侧图片中仍然存在一些锯齿现象,但对比左侧就没有那么波涛汹涌了。

研究人员表示,这种方法比传统方法要消耗更多的计算资源,因为它需要两次光栅化过程或者绘制图像,不过它在较低质量下渲染低敏锐度区域可以获得“计算资源节省”,但在高低敏锐度区域之间会产生明显的界线,而且可能会很明显。

共形注视点渲染

由于人眼观察事物的特征是从边边模糊平滑过渡到中间清晰,你可以利用这一点尝试在最终图像中准确地匹配这种过渡方式。

与其他技术相比,这样做可以减少计算像素的总数量,同时防止用户在高敏锐度区域和低敏感度区域之间看到清晰的分界线。Bastani 和 Turner 表示,这些好处允许“更优质的注视点渲染…同时在相同的质量水平下,能够节省更多的计算资源。”

与相位对齐注视点渲染不同,共形注视点渲染只需要一次光栅化。与相位对齐相比,共形注视点渲染的缺点是混叠伪影在外围仍然会闪烁,这对于需要高视觉保真度的应用来说可能不是很好。

你可以在上图右侧看到共形注视点渲染,其内容与眼睛的视觉感知和 HMD 透镜特征相匹配。左边显示的是传统的注视点渲染。两种方法都使用相同数量的像素。

注视点图像处理

在渲染之后和在你眼前播放 AR/VR 内容之前需要执行一些图像处理步骤,如局部色调映射,镜头畸变校正或照明混合。

在放大之前对内容进行镜头失真校正,可以获得显着的计算资源的节省,并且不会出现额外的可感知的伪像。在下面图片中你可以看到,虽然在合并低敏锐度和高敏锐度图像之前多了额外的步骤,但是由于效率更高,整体工作量更少。

注视点传输

由于谷歌非常专注于移动 VR/AR 应用,因此节省电量是需要重点解决的一个问题。“注视点传输”将通过传输显示器所需的最少数据量来节省功率和带宽。

将较为简单的放大和合并帧的工作移动到显示器端,并且只传输渲染的内容本身,这样可以节省电量。如果注视点区域与眼动追踪一起移动,则会出现复杂性。由于在 SoC 和显示器之间使用的压缩不是为注视点内容而设计的,所以可能会出现瞬时的伪像。

你可以在这里阅读完整的研究内容。它稍微有点技术性,但包括更多的图像供参考。

本文来自企鹅号 - VR科技网媒体

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量子位

太像人手了!OpenAI用打DOTA的算法,教会了机械手“盘核桃”

在OpenAI的实验室里,它缓缓 盘着核桃 转动着一个木块。没有人告诉它该动哪根指头,驱使它的,是在模拟器里训练出来的强化学习算法。

10500
来自专栏VRPinea

为使VR更逼真,Disney Research推程序语言动画新方法

32040
来自专栏walterlv - 吕毅的博客

UI 设计中的视觉无障碍设计

2017-12-10 10:58

21520
来自专栏用户研究

2018世界杯用户行为新趋势洞察报告

2018世界杯接近尾声,为您解读世界杯参与用户的观赛情况、热议内容、周边活动参与及体验等,全方位呈现2018年世界杯用户行为新趋势。

25880
来自专栏无原型不设计

巧用渐变色打造精致移动端APP

渐变色是指某个物体的颜色从明到暗,或由深转浅,或是从一个色彩缓慢过渡到另一个色彩,充满变幻无穷的神秘浪漫气息的颜色。在扁平化设计刚刚兴起时,渐变是设计师们避之...

42350
来自专栏钱塘大数据

可视化数据图表要怎么做才好看?

作者:整理自网络 可视化技术仿佛有一种化平凡为非凡的魔力,冷冰冰的数据,经过可视化技术的加工,便酒曲入瓮般幻化成视觉的盛宴,炫酷的、缤纷的、简约的、繁复的……数...

40570
来自专栏深度学习入门与实践

Jaccard相似度在竞品分析中的应用

  上个月对一个小项目的效果进行改进,时间紧,只有不到一周的时间,所以思考了一下就用了最简单的方法来做,效果针对上一版提升了5%左右,跟大家分享一下(项目场景用...

29350
来自专栏华章科技

25条神技!关于数据可视化,看这篇文章就够了

导读:可视化不是单纯的数据展示,其真正价值是设计出可以被读者轻松理解的数据展示。设计过程中的每一个选择,最终都应落脚于读者的体验,而非设计者个人。

10130
来自专栏顶级程序员

Python自动生成表情包

源 / 创业智库 文 / 唐一 作为一个数据分析师,应该信奉一句话----"一图胜千言"。不过这里要说的并不是数据可视化,而是一款全民向的产品形态----表情...

50680
来自专栏IT派

一个很皮的实践 Python自动生成表情包

作为一个数据分析师,应该信奉一句话----"一图胜千言"。不过这里要说的并不是数据可视化,而是一款全民向的产品形态----表情包!!!!

20600

扫码关注云+社区

领取腾讯云代金券