研究人员开发深度学习系统,将球赛视频转换为可在任何地点观看的3D全息图

AiTechYun

编辑:chux

再过几天,世界杯足球赛即将开始,你有没有想过罗纳尔多,梅西或者内马尔在你的餐桌上打比赛会是什么样子?华盛顿大学,Facebook和Google的研究人员开发了第一个端到端的深度学习系统,该系统可以将足球比赛的标准YouTube视频转换为可移动的3D全息图。

“单眼重建足球比赛面临着许多挑战。我们必须估计相机相对于场地的位置,检测并跟踪每个球员,重新构建他们的身体形状和姿势,并进行组合,”研究人员在他们的研究报告中写道。

结果是令人惊叹的,可以在任意地点通过3D查看器或用AR设备观看比赛。

该团队使用NVIDIA GeForce GTX 1080 GPU和NVIDIA TITAN Xp GPU以及cuDNN加速的 PyTorch深度学习框架,训练了卷积神经网络,从几小时的FIFA足球视频中提取球员3D数据。

基于这个视频游戏数据,神经网络能够在场上重建每个玩家的深度图,可以在3D查看器或AR设备上呈现这些深度图。

“事实证明,在玩Electronic Arts FIFA游戏并拦截引擎和GPU之间的调用时,可以从视频游戏帧中提取深度图。特别是,我们使用RenderDoc来拦截游戏引擎和GPU,”该团队表示,“FIFA与大多数游戏类似,在过程中使用延迟着色。通过访问GPU调用,可以捕获每帧的深度和颜色缓冲区。一旦在给定的帧中捕捉到深度和颜色,我们就会用它来提取球员。”

为了验证系统,该团队用YouTube上十个高分辨率职业足球比赛测试了他们的方法。值得注意的是,该系统仅通过合成视频游戏镜头进行训练。而在现实世界的情况下,该系统带来了值得一看的结果。

重建方法概述。从YouTube视频框中,我们使用字段线恢复相机参数。然后提取边界框,姿势和轨迹(跨多个帧)来分割球员。使用训练有素的视频游戏数据的深层网络,可以在场中重建每个玩家的深度图,并在3D查看器或AR设备进行渲染。

研究人员下一个项目包括专注训练系统更好地检测球,并开发可从任何角度观察的系统。

这项研究将于6月18日至22日在犹他州盐湖城举行的年度计算机视觉和模式识别(CVPR)大会上亮相。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180607B1J55F00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券