前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >日常视频一秒变游戏,人物可以随意操控:全靠Facebook的实时算法

日常视频一秒变游戏,人物可以随意操控:全靠Facebook的实时算法

作者头像
量子位
发布2019-05-10 14:59:26
5810
发布2019-05-10 14:59:26
举报
文章被收录于专栏:量子位
圆栗子 发自 凹非寺 量子位 报道 | 公众号 QbitAI

这是风和日丽的一天,有位黑衣男子照常开始了网球训练。

(请忽略这是卡塔尔公开赛上的费德勒。)

突然之间,球场变成了游戏,他也成了主人公 (如下图) 。

不自由地奔跑,不自主地挥舞球拍,一切听从玩家控制。左下角瞩目

一切发生得太快,男主还没来得及反应,就莫名地开始穿越。出现在了其他的球场,还认识了新队友:

当局者迷,就算手脚不听使唤,也很难想到自己被人“玩”了吧。

玩家是来自Facebook的一小撮研究人员。

他们开发的Vid2Game算法,直接把视频主角,变成可以控制的游戏人物;也能随意变换游戏场景,毫不违和。

另外,这个算法可以实时运行。只要手边有个视频,就能直接控制里面的人类,无需等待:

实时Demo

今后,你的游戏会变得很热闹吧。如果把自己变成主角,你想要谁来演NPC?

除此之外,鬼畜圈大概也不会毫无波澜 (误) 。

来自B站阿婆:橙某

好的,不要再多想了。书归正传,视频变游戏,到底经历了什么?

合二为一

首先,姿态估计自然是必须的。但在那之后呢……

Facebook团队说,算法包含了两个神经网络。

第一个叫Pose2Pose。它会根据当前的姿势,以及一个 (可能来自手柄的) 控制信号,生成下一帧的姿势。

它的生成器长这样:

当然,生成姿势并不是全部,人类要在各种背景里完美地移动,不要PS痕迹。

所以,还有第二并行的网络叫Pose2Frame

一顿渲染,把移动的人类和背景融为一体,就能输出正式的一帧画面了。

具体来说,要根据Pose2Pose生成的那些姿势,恢复出人类各个角度的完整模样 (下图:右下) 。

然后生成蒙版,就是左下的效果。

有了蒙版,再把人类混合到给定的背景里去,就完成了。

团队测试了一下,Vid2Game的合成效果,比前辈Vid2Vid更优质:

如果你没看出有什么分别:

在前辈生成的画面里,妹子的舞动破坏了背景的安宁,窗户的轮廓变得有些凌乱。而Vid2Game的作品,窗户依然是那个窗户。

如果你觉得,跳舞的妹子并没有打开新世界的大门。那么:

One More Thing

这里有一位优雅的击剑选手,在安静地练习。

对面是白墙的话,多少有些寂寞。

所以,给它一个优秀的游戏对手吧。

有了对手,动作都变快了:

你会不会也想试试屠龙的感觉?

论文传送门: https://arxiv.org/pdf/1904.08379.pdf

作者系网易新闻·网易号“各有态度”签约作者

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-04-21,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 量子位 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 合二为一
  • One More Thing
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档