专栏首页ATYUN订阅号Facebook开发AI,从视频中提取人物角色

Facebook开发AI,从视频中提取人物角色

作者 | 张江

发布 | ATYUN订阅号

还记得那些流行于90年代的FMV游戏吗?那些游戏将预先录制的剪辑与动画雪碧图和3D模型混合在一起,而Facebook正设法让它们重新流行起来。

在新发布的论文“Vid2Game: Controllable Characters Extracted from Real-World Videos”中,Facebook AI Research的科学家描述了一个系统,能够从真实视频中提取可控角色。

论文作者表示,“我们的方法是从一个不受控制的视频中提取一个角色,使我们能够控制它的动作,该模型生成了该角色的新的图像序列,生成的视频可以是任意背景,系统能有效地捕捉到人的动态和外观。”

该方法依赖于两个神经网络,Pose2Pose,该框架将当前姿势和单实例控制信号映射到下一个post,以及Pose2Frame,它将当前姿势和新姿势以及给定的背景叠加到输出帧上。这种复原可以通过任意低维信号控制,例如来自操纵杆或键盘的信号。系统足够稳健,可以在动态背景中定位提取的角色。

首先,团队将包含一个或多个角色的输入视频输入到为特定域(例如,跳舞)训练的Pose2Pose网络,将它们及其运动隔离(加上估计的前景空间掩模)。

使用这些和组合的姿态数据,Pose2Frame将场景中与角色相关的变化,如阴影、持有的物品和反射,这些和与角色无关的变化分开,并返回一对与任何所需背景线性混合的输出。

为了训练人工智能系统,研究人员采集了三个视频,每个视频长度为五到八分钟,其中一个是户外网球运动员,另一个是人在室内舞剑,最后一个是人在走路。此方法成功地处理了动态元素,比如其他人和摄像机角度的差异,以及角色服装和摄像机角度的变化。

每个网络都解决了之前未完全满足的计算问题,同时为生成具有逼真图形的视频游戏开辟了道路。此外,从类似YouTube的视频中提取的可控角色,可以在虚拟世界和增强现实中找到其自身的位置。

本文分享自微信公众号 - ATYUN订阅号(atyun_com),作者:关注人工智能的

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-04-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • TensorFlow开源Swift For TensorFlow号召研究人员参与(附视频)

    在三月的TensorFlow开发者大会上,TensorFlow发布并演示了Swift for TensorFlow,如今已在GitHub上开源。

    AiTechYun
  • Facebook的慢速视频分类器AI

    灵长类动物的视网膜神经节细胞能从感光器接收视觉信息,然后再传递到大脑,但值得注意的是,并不是所有的眼部细胞都具备这种精密的能力,科学家通过测试发现,80%的细胞...

    AiTechYun
  • 一种让人工智能轻松解析视频的方法

    麻省理工学院(MIT)和IBM的一个团队开发了一种算法,只消耗以前所需处理能力的一小部分,就能够准确识别视频中的动作,这可能会改变将人工智能应用于大量视频的经济...

    AiTechYun
  • 角色塑造

    王兵
  • 移动设备 小米2S不显示CD驱动器(H),便携设备,MTP,驱动USB Driver,MI2感叹号的解决方法

    糊里糊涂的出问题了。打开【计算机】,看不到图示的便携设备MI 2,也看不到CD驱动器(I:) XIAOMI

    授客
  • 知识付费抽成30%,苹果怒怼微信:谁让你用小程序断我财路?

    镁客网
  • 数据库用户权限管理

    PostgreSQL使用角色的概念管理数据库访问权限。 根据角色自身的设置不同,一个角色可以看做是一个数据库用户,或者一组数据库用户。 角色可以拥有数据库对象(...

    阮键
  • Docker Compose部署Gitlab

    YP小站
  • 机试题:地图定位、拍照并显示、录制视频并播放

      这两天参加面试,有个公司先出了机试题,然后才能进入下一步,机试题大意是要求实现:地图定位、拍照并显示照片、录制视频并且播放视频三个小功能。

    tandaxia
  • 基于JavaScript的rce反弹shell漏洞

    kali攻击机 192.168.232.131 win10靶机 192.168.232.140

    行云博客

扫码关注云+社区

领取腾讯云代金券