网易利用人工智能从自拍中创造3D游戏角色

在角色扮演游戏（RPG）中，如现代经典犯罪游戏侠盗猎车手，许多玩家是根据自己的形象来塑造游戏中的角色。但是现在的内置字符定制系统越来越复杂，它们可能需要手动调整数十个甚至数百个参数，要花费几个小时才能完成。

游戏巨头网易（netease）的研究人员开发了一种新方法，可以根据标准的人像照片自动创建玩家在游戏中的角色。他们详细介绍了这种方法，即面向参数的游戏角色自动生成方法。

角色生成过程从玩家的照片开始，它被用作一个基于深度学习的框架训练输入，该框架包括一个模仿者模块和一个特征提取器。

模仿者模块的目的是模拟游戏引擎的行为，自动创建一个风格与照片风格一致的角色(由游戏引擎生成)。它首先以用户自定义的面部参数，如发型、眉毛、胡须和嘴唇等为基础，由深度学习的网络框架生成最终渲染的面部图像。然后特征提取器利用特征空间，在神经传递框架下进行人脸相似度检测，利用梯度下降法对人脸参数进行优化。

从本质上讲，这是一个跨域（从现实世界的图像到3D动画角色）图像相似度的度量问题。但是如何保证跨域转换过程中整体外观和局部细节的准确性呢？研究人员利用一个深度卷积神经网络和多任务学习来解决这个问题。他们的解决方案是利用两个精心设计的损失函数：辨别损失和面部内容损失函数。例如，一个人的面部形状和面部特征都包含在整体外观中，而更具体的局部特征，如给定区域内的阴影，也可以进行分析。研究人员还介绍了3D人脸重建方法，它创建了一个骨骼驱动的模型，不同于其他生成三维人脸网格的三维人脸重建方法。因此，该模型预测了一组具有更明确物理意义的面部参数。

自动生成过程不仅限于自拍照片，它还可以支持具有艺术特色的照片输入，如素描和漫画。研究人员认为，用这种方法生成的3D字符与输入的2D图像具有很高的相似性，因为这种方法依靠的是面部语义，而不是原始像素。

虽然新方法可以自动生成游戏中的角色，但玩家也可以将其作为自己DIY角色创建过程中的辅助工具。研究人员说，这种方法还可以根据用户的需求进一步调整细节和进行其他更改。目前这种方法已经被国内玩家使用了一百多万次。