巡回乐队：一个基于 5G 的多相机远程分布式视频制作实验

来源：IBC2021 主讲人：Luca Vignaroli 内容整理：王秋文 这项工作介绍了并分析了在意大利都灵市实现的基于 5G-TOURS 技术的“巡回乐队”应用实例，即由音乐厅的演奏家和街上正在行走的演奏家共同表演，实时进行音视频的处理和混合，并展示给观众。本文主要介绍了这一应用实例中的远程电视制作的实现过程、5G网络的部署、具体的实验设置以及相关数据的测量分析。

目录

• 简介
• 实现结构
  • 远程演奏家
  • 摄影师
  • 节目制作控制室
• 室内外 5G 网络部署
• 实验及结果
• 总结

简介

“巡回乐队”是一个利用 5G-TOURS 技术实现远程高质量的实时电视节目制作的应用实例。在这一实例中，位于玛德玛宫音乐厅的演奏家与在玛德玛宫外面街道向音乐厅行走的演奏家一同合作。由演播厅对本地和远程的音视频信号进行实时的混合、处理并播出。其中，每一个远程演奏家都会有至少一名摄影师跟随记录他们的表演。除此外，摄影师还会给远程演奏家相应的信号提示以保证其与音乐厅中的演奏家同步演出。摄影师采集到的音视频信号通过 5G 网络发送给主编辑站。观众在音乐厅中可以实时看到街上正在行走的演奏家的视频，并听到由音乐厅舞台上的演奏家和其他正在街上行走的演奏家一起合奏出的音乐。在本项目中， TIM 和 Ericsson 根据玛德玛宫地区的室内外 5G 网络覆盖进行了部署。Rai 和 LiveU 设计并提供了电视远程制作的技术方案。

图1 “巡回乐队”整体概念图：“巡回乐队”由音乐厅内外的演奏家一起合作演出并进行实时的处理和播出

实现结构

在远程电视节目制作过程中，为了满足由拍摄到播出整体过程的实时性，音视频以及交流指令等信号的采集、传递的过程尤为重要。以本项目为例，下面将对远程音乐家、摄影师和节目制作控制室中涉及到的信号采集及传播过程以及具体所使用的设备进行一一介绍。

远程演奏家

每个远程演奏家都配有以下设备：

• 无线麦克风：用于将音频传输至摄像师
• 无线对讲机：用于与节目制作的控制室进行实时的交流，并接收演奏时的同步信号

摄影师

每个摄影师都配有以下设备：

• 全高清4K摄像机：对音乐家进行录像，并将该信号传输给节目控制室
• 无线对讲机：用于与节目控制室的导演进行实时交流
• 音频接收器：用于接收来自演奏家的音频信号
• LiveU 公司生产的 5G 视频设备：用于与其他 5G 单元连接，并进行音视频信号的交换

在通过 5G 网络传递音视频信号时，全高清视频使用 HEVC 编码，比特率 20Mbps；音频信号使用 AAC，比特率 192kbps 并嵌入到视频流中。同时，上述提到的实时对讲系统使用的是 LiveU 提供的 IFBv2。

节目制作控制室

节目制作控制室设置了一下设备：

• 视频软硬件服务器：接收远程传输过来的视频
• 对讲管理系统
• 视频混合器和用于管理不同信号的设备
• 延迟处理器：用于对齐同步本地信号和远程信号。在本项目中，低延迟对于实时合奏很重要，但是更重要的是要在不同的远程站点设定同一个固定延迟。

图2 “巡回乐队”信号传递构成图：远程音乐家、摄影师和节目制作控制室之间各有分工，并进行了相应信号的采集、传播和交换

室内外 5G 网络部署

项目中涉及大量室内外信号的传输交换过程，因此需要对玛德玛宫内外部署 5G 网络。5G-TOURS 网络技术是 5G 商用网络的延伸。在本项目中，TIM 和 Ericsson 部署了基于 NSA Option 3 架构的方案。其中，无线接入网络由 LTE 层作为“锚定层”（在 1800 MHz 下工作，带宽为 20 MHz），5G 层作为第二层（在 3.7 GHz下工作，带宽为 80 MHz）。在该架构中，LTE负责control plane，LTE 和 NR 用于data plane。无线接入网络连接到EPC 。在具体的实现上，室内网络部署使用了带有 Kathrein 80010922 天线的 Ericsson 4422 无线电。为了满足室内所需的覆盖范围，将四个不同的无线电装置安装在特制的电线杆上，并安装了无线电、天线所需的所有组件，电源和布线。根据上述方案，玛德玛宫室内分成了四个部分，如图 3 所示。5G 室内部署的基带单元是 Ericsson 6630 基带，位于距离马达玛宫 2.8 公里的网络交换点。为了在玛德玛宫内的无线电装置和 TIM 基地的基带之间提供 5G 前端连接，安装了一个特殊光纤连接，由 8 对光纤组成，其中 4 对用于连接 4 个4422 无线电，1 对为 LiveU 服务器提供宽带互联网连接，3 对作为备用。5G 室内覆盖的 LTE 由两个室外 LTE 商业站点提供。

图3 室内 5G 网络部署分布图：将玛德玛宫内的场景分成四个区域进行网络部署

5G 网络的室外部署基于 TIM 站点，在其上安装了 Ericsson 6630 基带和先进天线系统 Ericsson AIR 6488 以提供同站点5G单元。

实验及结果

在实验过程中，本文使用混合信号示波器对整体项目中的glass延迟（视频中的某一帧从相机到显示器所需要的总时间）和 LiveU 背包的吞吐量进行了测量。实验中的实验设置如图 4 所示。

图4 实验设置图：使用节拍器信号作为参考比较信号嵌入视频中进行测试

在本实验中，将节拍器的音轨嵌入到视频信号中，作为参考信号以测量glass延迟。这种方法在系统链中提供了广泛的测量探头，图 5 是一个测量信号的样例，其中，黄色的峰是参考信号，粉色的峰是经过 5G 系统的后的信号。

图5 延迟测量示意图：黄色的峰是参考信号，粉色的峰是经过 5G 系统的后的信号

经过上述方式，对整个系统的glass延迟进行测试，并将得到的结果与 TIM 实验室中的结果进行比较，如图 6 所示。从结果中可以看到实际现场的结果与实验室中的结果一样都有比较稳定的结果，同时得到值近似一致。

图6 延迟测量结果图：将玛德玛宫的实际测试结果与 TIM 实验室的结果进行比较，结果稳定且相似

基于这个结果，为了使远程的音乐家可以和音乐厅现场的音乐家一起演奏，控制室推迟了音乐厅现场的演奏起始信号 960 毫秒。由于本实验中涉及到了多个远程相机，因此本文还测试了背包中是否有延迟且它们之间是否有差别。结果图如图 7 所示，可以看到不同的背包之间最大有 150 毫秒的差别且差异稳定，分析原因可能与网络中 UDP 的路由有关。

图7 背包时延比较图：图中对四个不同的背包进行了延迟测试，结果背包间存在稳定的延迟，最大值150毫秒

在实验过程中还对带宽、延迟和丢包率进行了实时记录。

图8 测试实时记录示意图

总结

“巡回乐队”的实现过程是技术和艺术上的双重挑战，本文主要对这一实例中 TIM 和 Ericsson 提供的室内外 5G 网络服务和意大利广播电视公司和LiveU为电视远程制作提供的技术方案，并进行了相关的指标测量及分析。最后，项目团队在2021年11月9日举办了“巡回乐队”的音乐会“The Garden of Forking Paths”，并在演讲视频的最后进行了展示。

最后附上演讲视频：

http://mpvideo.qpic.cn/0bc3q4abgaaaoqaeizpkbzqvbb6dcodqaeya.f10002.mp4?dis_k=6e6b24bd420fe81c7684dbcc718e8ba6&dis_t=1645150828&vid=wxv_2233980599344693252&format_id=10002&support_redirect=0&mmversion=false