日常视频一秒变游戏，人物可以随意操控：全靠Facebook的实时算法

圆栗子 发自 凹非寺 量子位 报道 | 公众号 QbitAI

这是风和日丽的一天，有位黑衣男子照常开始了网球训练。

(请忽略这是卡塔尔公开赛上的费德勒。)

突然之间，球场变成了游戏，他也成了主人公 (如下图) 。

不自由地奔跑，不自主地挥舞球拍，一切听从玩家控制。左下角瞩目：

一切发生得太快，男主还没来得及反应，就莫名地开始穿越。出现在了其他的球场，还认识了新队友：

当局者迷，就算手脚不听使唤，也很难想到自己被人“玩”了吧。

玩家是来自Facebook的一小撮研究人员。

他们开发的Vid2Game算法，直接把视频主角，变成可以控制的游戏人物；也能随意变换游戏场景，毫不违和。

另外，这个算法可以实时运行。只要手边有个视频，就能直接控制里面的人类，无需等待：

△ 实时Demo

今后，你的游戏会变得很热闹吧。如果把自己变成主角，你想要谁来演NPC？

除此之外，鬼畜圈大概也不会毫无波澜 (误) 。

△ 来自B站阿婆：橙某

好的，不要再多想了。书归正传，视频变游戏，到底经历了什么？

合二为一

首先，姿态估计自然是必须的。但在那之后呢……

Facebook团队说，算法包含了两个神经网络。

第一个叫Pose2Pose。它会根据当前的姿势，以及一个 (可能来自手柄的) 控制信号，生成下一帧的姿势。

它的生成器长这样：

当然，生成姿势并不是全部，人类要在各种背景里完美地移动，不要PS痕迹。

所以，还有第二并行的网络叫Pose2Frame。

一顿渲染，把移动的人类和背景融为一体，就能输出正式的一帧画面了。

具体来说，要根据Pose2Pose生成的那些姿势，恢复出人类各个角度的完整模样 (下图：右下) 。

然后生成蒙版，就是左下的效果。

有了蒙版，再把人类混合到给定的背景里去，就完成了。

团队测试了一下，Vid2Game的合成效果，比前辈Vid2Vid更优质：

如果你没看出有什么分别：

在前辈生成的画面里，妹子的舞动破坏了背景的安宁，窗户的轮廓变得有些凌乱。而Vid2Game的作品，窗户依然是那个窗户。

如果你觉得，跳舞的妹子并没有打开新世界的大门。那么：

One More Thing

这里有一位优雅的击剑选手，在安静地练习。

对面是白墙的话，多少有些寂寞。

所以，给它一个优秀的游戏对手吧。

有了对手，动作都变快了：

你会不会也想试试屠龙的感觉？

论文传送门： https://arxiv.org/pdf/1904.08379.pdf

作者系网易新闻·网易号“各有态度”签约作者

— 完 —