真实感运动数据驱动的数字人物角色生成技术取得新进展

近日,在游戏开发者大会(Game Developers Conference ,GDC)上,虚幻引擎(Unreal Engine)开发商史诗游戏(Epic Games)公司公布了其最新数字人物技术,并演示、呈现了还原度极高的最终渲染效果。

为了创建这个互动的演示,演员亚历克萨·李(Alexa Lee)穿戴头戴式面部捕捉支架和全身动作捕捉服,捕捉数据合成后显示在一块屏幕上,同时作为输入数据被用于驱动以中国演员姜冰洁形象为原型的塞壬(Siren)角色,最终结果在另一块屏幕以60fps实时输出。

史诗游戏公司的数字人物演示始于“地狱之刃”演示。该演示在2016年SIGGRAPH实时演示项目(RealTime Live)中夺奖,而《地狱之刃》游戏在发行之后获得了英国电影学院奖游戏奖(BAFTA Games)9项提名。

史诗游戏在SIGGRAPH 2017上展示了“数字麦克”,重现了著名电影特效行业专家和自媒体人、特效指导(FXGuide)创始人麦克·西莫(Mike Seymour)。

在“地狱之刃”和“数字麦克”演示中,数字人物采用演员动作驱动演员本人模型的方式进行表现,而在“塞壬”演示中,现场演员的表演被赋予一个不同的数字角色,因此原则上任何互动参与者均可驱动塞壬角色,这为该技术的未来应用拓宽了道路。

“塞壬”最初是史诗游戏和腾讯公司的合作项目,目标是概念上示范和证明第四代虚幻引擎(Unreal Engine 4,UE4)的能力,并揭示下一代数字角色形象。

该项目采用了Cubic Motion公司面部表情捕捉技术、3Lateral公司面部操控技术、Vicon公司人体动作捕捉技术,演示结果具备逼真的面部细节和眼部运动,能够反映人类情感,并具备与参与者交互的能力,展现了几家公司在虚拟制作技术领域的全部实力。

史诗游戏和腾讯采用了Vicon Vantage光学动作捕捉系统、Atomos Shogun记录仪和VUE视频相机来进行演员身体和手指动作的精确和真实捕捉,采集数据随后被导入连接了Vicon新Live Link接口的虚幻引擎中,实时为基准角色脚本添加动画。

为了保证最高的保真度,Vicon将身体动作直接赋予模型绑定骨骼,去除了复杂的定位步骤,并开发了新算法来实现手指动作的真实化。

演员的面部捕捉则使用了新款Cubic Motion定制的Techno-props头戴式设备,进行面部无标记点追踪。新支架将原先面部前方的双镜头立体摄像头移去,取而代之的是一个侧面摄像头和一个正面摄像头的布局。

面部捕获的双路计算机视觉数据将被转换成三维FACS(Facial ActionCoding System,面部动作编码系统)AU(Action Unit,动作单元)数据,以驱动3Lateral模型。

这一方式唇同步能较之前更为准确,同时即使在高度实时面部捕捉环境的挑战下,也可在15毫秒内实现动画效果、与身体合成并完成渲染。

角色的面部以60fps实时渲染,极大地利用了UE4的细微面部毛发着色器和新型高级皮肤着色器,并应用了腾讯和史诗游戏工程师引入的背向反射算法(Backscatter Algorithms)和双层高光(Dual Specular Lobes),使最终结果拥有了更强的现实感和令人震惊的视觉效果。

作为史诗游戏数字人物相关项目的主要合作伙伴,Cubic Motion在GDC上宣布将开放技术平台授权,便于更多内容制作和游戏开发者接触和使用该技术。

Cubic Motion的计算机视觉技术可实现90fps表情捕捉,并实时自动将数据映射为超高质量的数字角色。该技术若用于CG电影和电视作品的拍摄制作,可实现数字面部动画创作“所见即所得”,节省人工完成数字动画的时间和花费;用于游戏则可实现“直播”方式(游戏角色面部被动作捕捉演员或普通用户驱动)。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180606B0LNJ400?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注腾讯云开发者

领取腾讯云代金券