照片大变活人！华盛顿大学&FB最新成果：平面人物秒变3D模式，还会动

新智元报道

来源：arxiv.org

编辑：木青

【新智元导读】12月，华盛顿大学和Facebook的研究人员提交了一份最新成果：平面人物秒变3D模式，图片中的人物可以从平面中“跑出来”，动起来。如果再结合VR技术，那么你手机照片中的任务不再只是静态的人物，他们会穿越层层障碍，奔向你。

哈利·波特里有项魔法“黑科技”很让我等麻瓜羡慕——照片会动甚至会从平面照片中伸出头或者手和你互动。

本月，华盛顿大学和Facebook的三位研究人员（Chung-Yi Weng、Brain Curless、Ira Kemelmache-Shlizerman）在arXiv上发表文章，彻底将J.K.罗琳的黑魔法变成了真实的黑科技。

论文地址：https://arxiv.org/pdf/1812.02246.pdf

这三位最新开发了一项动画制作方法和应用程序：照片动起来已是小case，这项技术可以保持照片背景不变，激活平面人物变成3D模式，直接跑出画面奔向你。如果再结合虚拟现实技术，那么画面中的人会真的出现在你面前。

技术效果展示

有了这项技术，那些小哥哥、小姐姐甚至动漫人物都不再只是固定在某一姿势的静态人物，他们会被唤醒，走出照片穿越人群，奔向你。

构建完美的可动画化3D模型方法，让画中人动起来

研究人员称这项技术为“唤醒”照片，他们甚至基于此开发了名为Photo Wake-Up的软件。

但与电影图谱不同的是，电影图片是从视频中创建的2D体验，而最新的方法是将一张照片作为输入，并产生完全的3D体验。

而在此过程中最主要的挑战是重构后的3D人物与照片中原形人物的轮廓紧密匹配，这事实上非常困难，因为身体可能被部分遮挡，通常被其他身体部分遮挡，比如有人站立时双臂交叉在胸前，这使得机器难以直接从平面图像中确定3D身体结构。

在此项研究中，该团队最关键的贡献就是构建了可动画化3D模型的方法，该模型可匹配单张平面照片中的身体轮廓并处理被遮挡住的身体部位。

也有很多计算机科学团队曾试图解决这一问题，之前Microsoft团队和德国Max Planck智能系统研究所开发了一种名为SMPL（Skinned Multi-Person Linear Model）的程序，Weng团队的研究突破正是基于SMPL程序。

SMPL模型是首先需要将2D对象的人体轮廓减下来，分割人物的四肢和躯干，识别人物的骨骼点，然后将3D骨架叠加到2D形状上，最后可以形成一种半裸的3D模型。

根据模型，可以对3D骨架进行动画处理来创建运动感。从一定程度上，这解决了人体姿势估计的问题。这种方法需要从正面看到从头到脚的剪影。它可以处理某些类型的遮挡，例如身体前方的手臂，但SMPL不能处理更复杂的遮挡，比如跷二郎腿的人。而且在SMPL中，即使将剪切的照片映射到3D骨架上，也不会产生逼真的动画，更重要的是这种3D模型与人的衣服轮廓并不匹配。

基于SMPL模型，Weng团队尝试了不同的方法——他们从2D层面上开始下手，下图就是这个方法的完整图解：

首先让SMPL模型匹配原始图像中的人物轮廓，然后将SMPL模型转成两种映射模式：普通贴图（normal maps，可看清轮廓）和皮肤贴图（skinning maps，通过不同颜色区分了身体部位），将两种贴图合二为一后，升级到3D模式，为动画做好准备。

该团队的实验成果：每个人物的左侧为原图，右为实验结果

最后，研究人员们使用运动捕捉序列来进行动画处理，纸片人就真的活啦！

简单来讲，就是将图片中的人物在2D层面中实现对齐，再将其转换成3D，然后再调整成动态，来看下效果：

该团队还提供了具体视频进行成果演示和分析：

具体成果演示和分析的官方视频

团队特别关注观众更容易注意到的人物头部。他们说：“头部姿势的准确性对于效果漂亮的动画很重要。” 因此，他们的算法还可以识别，诸如注视方向和头部角度之类的特征，然后使用它来获得身体网格头部姿势的精确角度。

如果结合虚拟现实技术，那么玩法会更多

这一技术目前还有一些局限性，例如，人物身上的阴影和反光尚未在此方法中建模，因此不会随动画移动，这可能会略显生硬；另外，SMPL模型可能会产生不正确的3D姿势。

基于这些缺点，该团队还在软件中开发了一个用户界面，允许任何人更改3D骨骼相对于身体的方向，并允许用户纠正错误并微调动画。

该团队表示：“我们的方法适用于各种各样的全身，相当正面的照片，从体育照片到艺术品和海报。”

事实上，这是一项很有趣的研究，具有很大娱乐潜力。研究人员说：“我们相信这种方法不仅为人们提供了新的方式来欣赏和与照片互动，而且还提出了一种从单一图像重建虚拟化身的途径，同时提供了对现有技术的深入了解，从一张照片中就能进行人体建模。”

想象了一下，如果结合虚拟技术的话，应该是这样的：

点一点手，Beatles就从专辑封面中向你走来。

不止是现实人物，连毕加索画作中的人都能从走出画框，少女小跑地奔向你：

额，如果这不是你理想对象的话，那将来就拿右键保存的男神女神照片来试试吧。

论文地址：

https://arxiv.org/pdf/1812.02246.pd