研究人员开发深度学习系统,将球赛视频转换为可在任何地点观看的3D全息图

AiTechYun

编辑:chux

再过几天,世界杯足球赛即将开始,你有没有想过罗纳尔多,梅西或者内马尔在你的餐桌上打比赛会是什么样子?华盛顿大学,Facebook和Google的研究人员开发了第一个端到端的深度学习系统,该系统可以将足球比赛的标准YouTube视频转换为可移动的3D全息图。

“单眼重建足球比赛面临着许多挑战。我们必须估计相机相对于场地的位置,检测并跟踪每个球员,重新构建他们的身体形状和姿势,并进行组合,”研究人员在他们的研究报告中写道。

结果是令人惊叹的,可以在任意地点通过3D查看器或用AR设备观看比赛。

视频内容

该团队使用NVIDIA GeForce GTX 1080 GPU和NVIDIA TITAN Xp GPU以及cuDNN加速的 PyTorch深度学习框架,训练了卷积神经网络,从几小时的FIFA足球视频中提取球员3D数据。

基于这个视频游戏数据,神经网络能够在场上重建每个玩家的深度图,可以在3D查看器或AR设备上呈现这些深度图。

“事实证明,在玩Electronic Arts FIFA游戏并拦截引擎和GPU之间的调用时,可以从视频游戏帧中提取深度图。特别是,我们使用RenderDoc来拦截游戏引擎和GPU,”该团队表示,“FIFA与大多数游戏类似,在过程中使用延迟着色。通过访问GPU调用,可以捕获每帧的深度和颜色缓冲区。一旦在给定的帧中捕捉到深度和颜色,我们就会用它来提取球员。”

为了验证系统,该团队用YouTube上十个高分辨率职业足球比赛测试了他们的方法。值得注意的是,该系统仅通过合成视频游戏镜头进行训练。而在现实世界的情况下,该系统带来了值得一看的结果。

重建方法概述。从YouTube视频框中,我们使用字段线恢复相机参数。然后提取边界框,姿势和轨迹(跨多个帧)来分割球员。使用训练有素的视频游戏数据的深层网络,可以在场中重建每个玩家的深度图,并在3D查看器或AR设备进行渲染。

研究人员下一个项目包括专注训练系统更好地检测球,并开发可从任何角度观察的系统。

这项研究将于6月18日至22日在犹他州盐湖城举行的年度计算机视觉和模式识别(CVPR)大会上亮相。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2018-06-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数值分析与有限元编程

高斯消去法解方程组及Python实现

Python 是一种高级计算机程序设计语言。对于初学者和完成普通任务, Python 语言是非常简单易用的。 对于方程组Ax=b,增广矩阵为[A b]。第一次消...

71770
来自专栏养码场

吆喝科技CTO的纯干货分享:直击A/BTesting和美团推荐技术关键点!

养码场的线上课程,以技术人员为核心的学习、交流、分享社群,全方位服务技术人和技术创业者。这里聚集了众多BAT/美团/京东/滴滴/360/小米/网易等知名互联网公...

14040
来自专栏机器之心

从硬件配置到框架选择,请以这种姿势入坑深度学习

31160
来自专栏AI研习社

分布式机器学习时代即将来临?谷歌推出“Federated Learning”

传统机器学习方法,需要把训练数据集中于某一台机器或是单个数据中心里。谷歌等云服务巨头还建设了规模庞大的云计算基础设施,来对数据进行处理。现在,为利用移动设备上的...

382110
来自专栏人人都是极客

AI 芯片和传统芯片的区别

比如,自动驾驶需要识别道路行人红绿灯等状况,但是如果是当前的CPU去算,那么估计车翻到河里了还没发现前方是河,这是速度慢,时间就是生命。如果用GPU,的确速度要...

17440
来自专栏人工智能快报

深度学习助力引力波信号搜寻

英国格拉斯哥大学的三位学生开发了一套人工智能(AI)工具来帮助搜寻引力波信号,为下一阶段的引力波天文学研究打下了坚实的基础。该成果已发表在2018年4月9日出版...

12820
来自专栏CDA数据分析师

数据图表应用:强大的散点图

报告是位花姑娘,图表是件花衣裳。姑娘不仅要穿,还得懂得怎么穿! 初阶的饼图、环形图、折线图、柱形图、条形图等就不多说了,因为他们直观到无需解释。但需要提一下做这...

26950
来自专栏TEG云端专业号的专栏

全国知识图谱与语义计算大会 - 实体发现与链接比赛总结

一 背景 互联网大数据时代中,随着机器语义理解需求的日益增长,知识图谱,即各类实体、概念及其之间的语义关系,日益成为大数据时代知识表示的主要形态之一,并在学术界...

1.1K70
来自专栏BestSDK

谷歌推出“Federated Learning”,一种全新的机器学习模式

传统机器学习方法,需要把训练数据集中于某一台机器或是单个数据中心里。谷歌等云服务巨头还建设了规模庞大的云计算基础设施,来对数据进行处理。现在,为利用移动设备上的...

677100
来自专栏PPV课数据科学社区

【推荐】飞林沙:商品推荐算法&推荐解释

这是今天看到的一篇蛮有新意的讲稿,由于不是一篇完整的论文,所以理解起来稍微有些困难,就顺着写个笔记,仅供参考。 Ref: http://www.wsdm-con...

32050

扫码关注云+社区

领取腾讯云代金券