看球，我选上帝视角

安妮 发自 凹非寺 量子位 出品 | 公众号 QbitAI

4:3，梅西回家了；2:1，C罗也回家了，这届世界杯真是激烈又精彩。

但对于无法前往现场的（伪）球迷们，只能屈身于手机、电视的平面看直播了吧？

在新技术应用一个接一个的今天，到底有没有更新、更技术的方式，重新定义一下看个球？

试想一下：如果可以通过AR设备，将赛况实时投到桌面上，并且随你移动，还能尽览不同视角、不同距离的全场景球况，该是多么过瘾的一种选择。

就像这样——

再如这样——

噫……这是把世界杯搬到了任意桌面了么？而且还能各个角度绕着球场看比赛——就算身在现场也做不到啊！

恭喜你，这种“上帝视角”，可能不久就能实现了。

就在最近，华盛顿大学、Google和Facebook的研究人员开发了一套桌面足球系统，能将世界杯视频重建，转换成动态3D视频。通过AR设备，可以看到渲染后的球员动作和场地效果。

拥有了这个系统，感觉宛如拥有了整个球场，这到底是怎么做到的？

3D转换的秘笈

桌面看球的大思路其实很简单。

只要充分利用球场部署的多角度相机，之后通过多视角几何技术，对场地和玩家进行三维重建，2D世界杯就升级为3D场景了。

因此，研究人员提出了这样的思路——

先收集Youtube上世界杯球赛视频，根据场地线来推断相机的位置等参数。

随后，提取视频中的边界线、球员姿势和运动轨迹，将球员和场地分割，方便下一步加工。

“质壁分离”后，对球员进行单独的渲染处理来实现立体效果。研究人员用视频数据训练深度神经网络模型，在球场上重建每个球员的景深图，为实现360度无死角看球打基础。

最后，如果你有AR设备……用AR设备或者3D查看器渲染一下，3D看球美美哒。

思路没错，但紧接着问题就来了：

想训练神经网络模型根据球员图像来估计他的景深图，最理想的数据集里，应该包含着一对对的球员照片vs.景深图。

这样的数据集上哪找？

研究人员想到了EA出品的FIFA系列游戏。截取FIFA游戏引擎与GPU之间的调用信息，不就能从视频游戏的框架中提取景深图了嘛。

△ 从FIFA系列游戏中提取图像及深度

机智。

现在数据完备，就差个能够预测景深的神经网络了。

研究人员选取了“沙漏网络模型”，用一连串残差模块，像一个个沙漏一样来处理输入，经过8个“沙漏模块”实施降低输入的分辨率、放大等步骤，输出的，就是我们所需要的景深图。

重建3D球赛，Go!

准备阶段完成后，研究人员开始重建3D场景。整个流程一气呵成，犹如进入了快餐店后厨——

大概分为以下几步：

• 1.相机位置估计：用一个合成的平面场模板预估真实场景中每帧的参数，进一步找到相机在每个连续帧中的姿态。
• 2.球员检测和追踪：提取球员的边界box检测到的关键点/骨架，基于姿态信息对初始的边界框进行细化，再根据提取的边框序列预计球员的运动轨迹。
• 3.实时实例分割：预估每个球员用于深度预估网络的分割掩码，借助语义分割和前一步的姿态估计。
• 4.网格生成：将上一步的前景掩码与原始裁剪图像混合，放入一开始预先训练好的神经网络中进行训练。
• 5.形成3D轨迹：减少相机位置和边界框定位时不精确带来的球员抖动，对3D球员轨迹进行平滑处理。

一连串操作至此，3D合成大功告成。

研究人员将此模型的3D生成结果与原视频和不同方法合成的结果进行了对比。

△ Youtube视频上真实处理结果

渲染后得到最后的效果图：

△ Youtube视频帧（最上一行）及渲染结果（第2~4行）

毫无疑问，这种方法可以得到更精确和完整的深度估计，重建的效果也最好。

美中不足

虽然场景不错，但这项技术目前并不完善，还不能让你随心畅看。

Bug 其实很明显，刚在观看效果的时候，各位有没有看见足球？

——冇。

没错，目前这套系统最大的问题就是还没有对足球进行处理，球的轨迹无法渲染出来，场上一票球员如同在踢“空气球”。

此外，系统对球员及守门员的（位置）把控不够准确，被遮挡的球员显示不完整。这就导致球员有时球员会突然消失，然后突然出现，犹如习得传送大法。

△ 迷离消失的守门员

在论文中，研究人员表示，目前这项技术还在不断改进和升级中，下一部的计划是：

• 改善画面重建的品质
• 实现实时3D重建
• 预估足球的位置
• 让这项技术也能用于其他运动，让篮球、橄榄球、排球等等运动的球迷也能同此待遇。

华盛顿大学出品

这项研究的论文Soccer on Your Tabletop发表在CVPR 2018上，作者有四，均属于华盛顿大学（张亚勤母校）的GRAIL lab实验室，分别为Konstantinos Rematas、Ira Kemelmacher-Shlizerman、Brian Curless和Steve Seitz.

△ 一作Konstantinos Rematas

如果觉得这项研究和你胃口，可移步传送门深入挖掘。

论文地址：

http://grail.cs.washington.edu/projects/soccer/soccer_on_your_tabletop.pdf

代码地址：

https://github.com/krematas/soccerontable

最后，效果视频长这样：