游戏引擎、实时渲染技术的发展及其在舞台上的运用

导言：

近年来，随着新科技的不断发展，新媒体技术在舞台演出中的应用也是日新月异。有哪些新变化、新趋势呢？笔者归纳了2017年中有影响的舞台演出新媒体技术应用，并结合自己的创作实践认为：投影技术的进步和创作理念的更新使舞台视觉效果更加丰富立体、富有变化；游戏引擎、实时渲染技术的发展及其与媒体的结合互动使得新媒体艺术更好地融入即兴和实验表演艺术中，VJ（Visual Jockey，影像骑师）式的实时操控开始流行；一些前卫艺术家大胆尝试，将VR、AR（虚拟现实、增强现实）技术融入舞台表演，探索舞台视觉呈现的新形式；新媒体艺术家将创意编程、新媒体交互装置介入舞台创作，创作出令人耳目一新的新媒体观念剧。

从1998年的电影《罗拉快跑》开始，游戏行业就潜移默化地影响并渗透到影视、舞台演出行业，甚至改变了观众的审美习惯，使现代人习惯于游戏式的快节奏和主观运动镜头。主流游戏引擎（Unity、Unreal等）的开发者也野心勃勃地进军游戏行业之外的动画电影、演出行业。

计算机GPU（Graphics Processing Unit，图形处理器）等硬件的发展，也使得游戏引擎实时渲染的优势得以充分发挥，省去了视频制作所需的大量渲染时间，极大地提高了创作效率，使其跨界应用到影视、现场表演成为可能。随着这一技术的发展，在实时渲染和媒体互动的基础上，开始融入各项即兴和实验表演艺术中，VJ式的实时操控开始流行（VJ与DJ的概念类似，将影像、动画等视觉元素做即时剪接，最重要的就是剪接，并添加效果）。

最近出现的“Audio Visual Show”（音乐视觉秀）就是将游戏引擎做好的游戏场景文件通过交互软件（如Touch Design等）与MIDI调音台相连接，视觉设计师和音乐设计一起即兴操控视觉、音乐的变化，而不是演出前一帧一帧渲染好视频文件，既方便快捷又具有很强的带入感。

例如，2017年6月，在今日美术馆“.ZIP未来的狂想”展览闭幕式上的“Audio Visual Show”演出即是如此。视觉设计师使用了正在开发的游戏场景（见图1），现场实时调整百万粒子的流动效果，使其与音乐互动。

图1 “Audio Visual Show”演出的视觉效果（视觉设计In_K）

同样，2017年6月，鲸鱼马戏团（X Whale Circus）乐队的巡回演出也是如此。视觉设计师为每一首歌开发了一个游戏场景，现场乐队演出时实时调整场景里的元素，使其与音乐相配合（见图2）。

图2 鲸鱼马戏团巡回演出的视觉效果（视觉设计In_K）

一些多媒体播放控制系统也与时俱进，在保持原有视频播放功能外也加入了编程和实时渲染功能。例如，播控系统Isadora就加入了Javascript语言和GLSL Shader实时渲染API语言，使其也具备一定的实时渲染能力，并具备与Leap motion、Kinect等体感识别系统相结合进行交互表演的功能（见图3）。

图3 Isadora多媒体播放控制系统的实时渲染功能

VR、AR技术应用及视觉呈现

一些前卫的艺术家将还处于发展阶段的VR、AR技术应用于舞台演出，带有很强的实验性。例如，2017年12月万玛尖措导演的VR概念实验舞台剧《狼》就融合了VR拍摄、无线传输、无线头显等新技术及设备（见图4）。

在2017年，美国卡耐基梅隆教授拉里（Larry）在上海互动艺术节上带来了他和团队创作的AR戏剧（见图5），通过游戏引擎制作AR动画，演出时观众需要通过手机下载专门的应用程序才能观看。

图4 VR概念实验舞台剧《狼》的视觉效果及拍摄设备

图5 AR戏剧的呈现效果

节选自《演艺科技》2018年第1期 吴振《新媒体技术在舞台演出中的应用及呈现形式》，转载请标注：演艺科技传媒。更多详细内容请参阅《演艺科技》。