MFX沉浸环拍技术—打造足球比赛新“看”法

2022年卡塔尔世界杯正在如火如荼的进行中，足球比赛的精彩瞬间稍纵即逝，由于硬件限制、场景限制、信息成本等原因，球员们最精彩的表现往往很难以最精彩的角度呈现给观众。如果比赛的关键时刻不能被观众的视觉感官充分享受，不免令人扼腕叹息。

本次世界杯，中国移动咪咕公司充分发挥移动信息现代产业链大视频子链链长单位优势，自主研发了MFX沉浸环拍技术，经过MFX沉浸环拍技术处理过的内容，不仅在观感上给人以沉浸式的视觉享受，并且能够对精彩瞬间的每一个细节提供丰富的画面信息增量。MFX沉浸环拍技术可以降低信息获取门槛，将专业裁判组才能看到的高维度信息，以视觉化的方式呈现给普通用户。由于虚拟摄像机完全可控的特点，系统能够对争议较大的判罚，如难以判定的复杂越位等，进行全角度、无遮挡的场景还原，可以有效补足现场硬件短版，提升观众沉浸式参与感。该技术突破传统技术自身的硬件限制，创新性的引入了内容分析、人物识别跟踪、三维数字重建、云渲染等“智作”技术，实现1:1数字化还原真实场景，并且支持实时运动数据的计算。

赛事镜头复杂多变，为了提高跟踪精度与速度，还原最好的运动效果，中国移动咪咕公司基于光流法优化提升赛事画面跟踪能力，可针对性的设置运动体跟踪点进行自动跟踪和二次手动跟踪。通过画面解析及参照物匹配计算，完成赛事镜头数据创建。

对于体育赛事画面中高速运动相机所产生的变焦、运动模糊、ShutterRoll(果冻现象)等问题，针对性完善了画面解析及校正能力，并基于此，计算模拟摄像机焦距，反推实际画面中焦距相应数据，实现镜头焦距的反向解算，以实现后期内容画面三维层级复刻。

此外，中国移动咪咕公司通过技术手段搭建了从2D图像快速复刻3D资源的生产线条，赛事中球星面部信息及辨识度成为了观众关注的焦点。基于球员在赛场记录下的多角度面部细节图片，可快速生成面部landmark和法线信息，反向迭代生成3D模型。且保留相当高的“自由度”，可对模型、贴图、光泽、材质等再进一步进行细节优化调整，在短时间内即可创建较高还原度的3D的模型。

为了解决赛事中关于数据可视化的重难点问题，MFX沉浸环拍技术基于直播画面，系统算法可后期解析出镜头运动跟踪及相关反求数据信息，技术人员以此复刻出1:1赛场三维模型环境。在三维环境中再现球员姿态、运球轨迹、球门关系等可视化效果，经过创作者的二次内容包装，并在咪咕自研的云渲染平台进行高效渲染。值得一提的是，咪咕云渲染自研的任务智能编排算法和分布式分帧、分块渲染技术，使得一个本地渲染耗时超过160分钟的沉浸环拍动画， 在云渲染平台不到5分钟就可以完成，大大缩短了虚拟内容的渲染时长，让创作者能紧跟赛事热点，及时交稿，为球迷们展示球场沉浸式高光瞬间。

中国移动咪咕公司MFX沉浸环拍技术一直致力于打造更丰富的视觉效果，为赛事提供更多的“看”法。本次沉浸环拍2.0较上一代不仅丰富了画面内容，在还原精彩的同时，画面添加丰富的数据信息，进一步加强了观赛的沉浸感受。同时，随着世界杯同步上线的虚拟飞猫、风格化等系列内容，也将为用户提供更多的观赛形式，解锁沉浸式智慧观赛新体验，提供大不“移”样的比赛新“看”法。