《愤怒的小鸟AR》背后：如何打造逼真自然的3D AR游戏

几个月前青亭网曾报道，在NFL棒球比赛上，人们使用AR效果的黑豹吉祥物为运动员加油打气。从视频效果来看，体积庞大的AR黑豹极具动感，其皮肤纹理以及和物理场景的互动十分逼真，就好像真的有一只巨型黑豹闯入体育场一样。

从这样的案例可以看出，令人信服的AR更能为观众带来沉浸、震撼的感受。这是因为，AR游戏中的角色是三维的，其交互和视觉变化也需要具有空间感，甚至与真实场景的互动也要模拟物理特性。

而营造这种逼真感，则需要从多方面模仿现实，比如：根据环境光动态变化的光影、与真实环境产生自然的物理交互、足够细节的纹理，以及保真的动作还原等等。而实际上，为了不断提升AR的逼真感，微软、谷歌、Niantic等公司一直在探索，包括基于实时场景扫描、目标识别的动态遮挡渲染，或是阴影、物理交互等视觉提示。对于AR开发者来讲，从多方面提升AR的可信度也有助于优化用户体验感。

自从《精灵宝可梦Go》让AR游戏走进大众视野后，市面上陆续出现越来越多的AR游戏、AR应用，同时AR视觉和交互的效果也在不断提升。与传统的2D游戏相比，AR最大的特点是将虚拟内容与真实场景结合，而为了确保AR的虚实融合效果，开发者们将需要解决一系列全新的挑战，比如：如何设计以360°围绕玩家存在的沉浸式游戏体验？如何将空间内的障碍物因素考虑在内？AR如何对真实场景的光线和颜色产生反应？

对此，从早期就进入AR/VR行业的游戏工作室Resolution Games在开发过程中也总结了许多经验。近期其AR技术总监Magnus Runesson分享了AR移动游戏的一些开发建议，他表示：从AR游戏形式刚出现，我就已经参与相关开发，而且为大部分AR设备开发过AR游戏。经过这些年积累，Runesson认为提升AR的沉浸感需要从几个关键方面入手：

1）阴影；

2）跟随自然光线动态渲染；

3）调整真实空间的色调；

4）增强现实场景；

5）利用粒子大小的AR来营造空间感；

6）现实世界中充满“障碍”。

关于阴影

不管是静态还是动态的AR对象，都可以通过环境遮挡效果来提升逼真感，除了直接的遮挡效果，AR的虚拟阴影也可以与物理环境相互作用。

Runesson表示：每个艺术家都应该明白，在开发虚拟世界/空间时，正确渲染阴影是提升可信度的关键。那么在开发AR游戏时，空间中的环境光又会对AR物体的阴影造成哪些影响呢？

首先，开发者需要考虑AR虚拟阴影与环境之间的遮挡关系，也就是说AR物体在接触物理表面时，需要同时产生从AR底部开始延伸的虚拟阴影，这个阴影将跟随AR物体，并与物理表面自然融合。

通常，开发者们会在场景中烘焙完整的环境光线，因此在环境中移动的物理目标可以自动实现光影渲染。而为了渲染静态物体的阴影，《愤怒的小鸟AR：猪岛》的开发者们会在AR周围构建几何框架（也被称为空间遮挡外边），以调整AR的环境遮挡效果。而对于动态AR，开发者则选择在AR所在的平面上绘制垂直的坐标系，来定位环境遮挡时产生的虚拟阴影，利用坐标系来定位阴影的好处是，可以逐步控制阴影的自然变化，AR底部的阴影最深，而向外延伸的部分则越来越浅。

关于自然光线提示

在开发游戏过程中，光线/亮度与阴影同样重要，对于AR游戏来讲更是如此。为了提升在真实空间中的自然感，AR内容需要根据实际的环境光线来动态调整自身亮度。也就是说，你在不同亮度的房间中玩《愤怒的小鸟AR：猪岛》，将感受到不同的视觉体验，亮度、阴影都有变化。

Runesson表示：《愤怒的小鸟AR：猪岛》利用两种光源来渲染：定向光和环境光。此外，还会根据移动设备预测的环境光温来调整光线的颜色。

在渲染AR亮度时，开发者们可以采用这样一种技巧，利用ARKit生成的环境纹理来控制场景的亮度，尤其是让AR的颜色具有根据环境而变化的反光感，避免出现不自然的色块而让AR难以融入环境。

不过Runesson指出，动态变化的AR亮度只能适应普通的光线环境，在一些极端明亮或阴暗的环境中，动态光影渲染的效果可能不够明显。

用AR来调整环境色调

如果说AR游戏玩家所在空间的光线不可控制，那么用AR滤镜来调整摄像头捕捉到的环境视频，相对来讲会让光线环境更加可控，而且与AR的色彩更好的融合。此外，通过AR来调整场景的色调，也有望进一步增强AR游戏的沉浸感。

简单来讲，就是用AR给摄像头捕捉到的场景染色，类似于拍照、拍视频时常用的滤镜功能。对于不同类型的AR内容，也可以通过调整场景的色调来烘托主题。

就拿《愤怒的小鸟AR：猪岛》来讲，在一年四季不同的关卡主题中，关卡的背景色调并不相同，冬季、秋季采用冷色调，而春季、夏季会更加暖色调。

关于增强现实世界

为了进一步拉近AR与真实环境的视觉关系，AR不仅对环境光产生反馈，也可以通过冰块等虚拟的透光表面来映射、折射周围的环境。比如在《愤怒的小鸟AR：猪岛》中，你甚至可以透过冰块搭建的AR城堡看到背面的植物，根据折射原理模拟的效果看起来足够自然。

Runesson表示：要想实现这样的效果，开发者可以将摄像头捕捉到的实时视频图像作为AR的背景，然后在透光的对象上叠加渲染缓冲区作为纹理，并利用缓冲区的纹理来调整AR物体的折射色彩变化。

他补充：AR的意义不仅仅是将虚拟图像融入到真实环境中，它还能够改变真实环境的观感，进而提升整个体验的沉浸感。

用粒子线索营造空间感

如果可以在物理空间中布满3D虚拟场景，那么人们可能更容易感知这种AR与空间的关系，然而完全沉浸的3D场景是VR而不算做AR。对于《愤怒的小鸟AR：猪岛》来讲，它的游戏内容主要集中在猪城堡的3D模型上，并不会占据玩家周围全部空间。那么，如何让摄像头内的AR内容与摄像头没有捕捉到的真实环境联系起来呢？

Runesson认为，可以通过雪花、星辰等粒子大小的特效来进一步拉近AR与空间的关系。一方面，粒子大小的AR与物理环境产生互动时，本身具有一种空间感，另一方面，当AR粒子离开摄像头边框时，也产生一种好像走进现实的错觉。

他发现，AR粒子元素将对玩家体验产生直接影响，你甚至可以通过移动摄像头来追随这些AR雪花、AR星辰。

考虑现实的障碍物

假设AR达到理想中的逼真感，与现实难以区分，那么它一定会具有各种物理特性，比如遮挡、撞击反弹等等。因此，AR游戏需要通过摄像头来识别空间中障碍物所在的距离，当桌子等障碍挡住AR时，确保AR不会继续叠加在桌面上，而是有部分被桌子挡住，模拟物体在不同距离所造成的自然视觉规律。

Runesson指出，开发者可以在AR物体上叠加一种遮挡掩膜，它可以根据真实场景变化来渲染AR的遮挡效果。

实际上，早期就曾体验《精灵宝可梦Go》的玩家会知道，此前的AR通常不支持遮挡，只是将3D模型叠加在2D视频中，甚至移动摄像头角度也无法查看3D模型的背面。而随着移动设备的摄像头技术不断发展，越来越多的手机开始支持3D深度识别，这也为渲染AR遮挡带来可能。

接下来，AR技术还将持续发展，尤其是随着AR眼镜产品不断升级，未来人们将可以通过AR眼镜获得更沉浸、立体的视觉体验。参考：GI