W3C与IETF共同定义WebRTC未来6大应用方向

W3C和IETF在2021年1月26日宣布，Web实时通信WebRTC现已成为官方标准。这意味着WebRTC可在Web上的任何地方实现丰富，交互式，实时的语音和视频通信，从而促进全球互联。当面对全球流行的新冠病毒时，WebRTC使数十亿人在新冠状病毒流行期间能够相互联系和互动，无论使用的设备或地理位置如何。而WebRTC对现实世界的积极及时影响还在不同场景中被应用来解决新用途。比如：医疗保健和国防等领域使用WebRTC进行培训；学校已经转向虚拟学习平台；以及云游戏和社交网络使用实时流媒体和交互式广播。而W3C和IETF更关心的是WebRTC的未来发展，并共同定义了WebRTC未来的6大应用方向：文件共享、物联网、有趣的帽子、机器学习、虚拟现实游戏和视频会议。

1

文件共享

网格中的参与者在不中断音频/视频会话的情况下交换大文件。参与者也可以向当前未联机的用户发送大文件。要支持这个用例增加了以下要求：

2

物联网

物联网传感器保持长期连接，并寻求功耗最小化。一些传感器的数据可能需要被可靠和有序地发送，而其他传感器提供的数据可能会被不可靠和无序或以部分可靠的方式发送。该用例增加了以下需求：

3

Funny Hats

一种通讯服务，它可以在编码之前和解码之后操作媒体内容，可以提供的服务包括：

1. 添加字幕

2. 转录

3. 语言翻译

4. Funny Hats

5. 背景移除或模糊

6. 浏览器合成

7. 声音特效

8. 压力检测

Funny Hats需要对来自本地和远程数据源的原始媒体进行操作。由于媒体处理可能会占用大量CPU资源，因此使其在主线程之外发生是很重要的，因为使处理能够利用GPU的优势也是很重要的。这个用例增加了以下需求:

4

机器学习

在名为“ NameTheBird.com”的网络游戏中，参与者使用其设备向服务提供鸟类的音频和视频观察以及用于培训目的的标识，从而允许服务从所提供的音频和视频中标识鸟类并将此信息实时返回给用户。

该Web应用程序具有特定于站点的联合学习型分类器，可用于上下文的目标检测，用户意图预测和媒体操作，从而使其能够增加它接收到的数据流并将标识或其他补充信息注入到已发送或已接收的数据流中。

共享分类模型是根据参与者发现的鸟类进行训练，并基于参与者的反馈。模型的每个用户的更新都被上游到共享模型服务器，该服务器将全局模型的更新推送到客户端。

实施纲要：

1. 出于推理和训练目的，克隆媒体（原始）流，分别表示为“推理流”和“训练流”，并且推理流也是与对等方共享的媒体流。克隆可以在会话期间的任何时间进行。

2. 推理流：一个网站的特定分类器作用于原始推理流，其结果用于指导发送方设备中的自定义编码器，并将元数据发送到媒体流外部的服务器和对等设备。编码器增加了适当的增强，例如，如果在视频丰富的情况下，将“命名此鸟”的符号能够悬停在扩大的鸟上，如果是音频，则增强鸟的叫声。

3. 训练流：训练中的模型对原始数据进行分类，并根据用户反馈对分类进行评估，所述的反馈循环是网站特有的。评估可以是“在线”或“离线”，离线是指在稍后的阶段对已记录的编码媒体集上完成训练。

4. 推理流和训练流都可以使用有效负载保护，具体取决于应用程序的可选中间媒介服务器端的计算资源上的信任模型。

5. 推理流和训练流都使用传输对象与对等方或服务器进行通信，在某些情况下，通信可以是基于站点特定的QUIC的传输解决方案，在其他情况下则可以是基于RTP的。

该用例增加了以下要求：同Funny Hats

5

虚拟现实游戏

利用集中式会议服务器的虚拟现实游戏服务希望使用现有的选择性转发单元（SFU）来将数据与媒体同步。

6

不要“Pown”我的会议

云视频会议系统无需访问明文媒体和通过其服务器的文本。其中一些会议服务希望能够通过明确显示它们无权访问其用户的通话内容来提高信任。他们能够被信任将合适的人连接到会议并按特定路线发送数据包，但他们不被信任访问通话中的音频和视频媒体或文本。

解决此问题的方法分为两大类：一类是JavaScript来自可以查看媒体内容的可信源，另一类则不是。

不可信的JavaScript云会议

云视频会议系统不需要让服务器来访问明文媒体和文本

在许多情况下，可以信任诸如WebEx之类的系统来连接会议成员，但是不需要访问会议内容。当今网络上的大多数会议系统都是如此。只是为了突出此要求的范围，在会议中使用WebRTC的时间要比其他使用WebRTC音频要多得多，在会议中服务器不需要访问内容（例如，在转发音频而不是混合音频的情况下），大小。这是WebRTC音频的主要用例之一，每月潜在应用WebRTC的时长占数十亿分钟。

在此用例中，JavaScript来自会议桥的操作员。WebRTC的隔离媒体功能可以阻止JavaScript访问媒体，并且身份功能用于提供用户界面，该界面允许用户知道它已连接到正确的会议。其目的是使最终用户能够看到内容，但是提供JS和媒体交换桥以及Selective Forwarding Units（SFUs）的Web服务无法访问内容（音频，视频，文本）。浏览器可以选择向媒体服务器显示一些元数据，例如音频功率级别，以支持诸如扬声器切换之类的功能。

这个问题的可能解决方案是浏览器协商端到端加密密钥，而不透露给JavaScript。

与此用例相关的安全需求在[MLS-ARCH]中进行了讨论，包括以下内容：

总结

综上可以看出W3C与IETF对WebRTC的未来应用方向着重在文件共享、物联网、Funny Hats、机器学习、虚拟现实游戏和视频会议这个6个场景中，并且每一个场景中都详细给出了所要达成的需求及描述。另外，W3C和IETF还着重介绍了机器学习和视频会议。特别是在机器学习部分，列出了实施纲要，具体阐述了推理流与训练流的在机器学习中的作用。

除此之外，在视频会议部分主要说明了两点，首先是JavaScript来自可以查看媒体内容的可信源，是可以提高会议服务的信任度的。另一点是JavaScript云会议，主要强调的是JS来自会议桥的操作员，其目的是让最终用户能够看到内容。而提供JS、媒体交换桥和SFUs的Web服务是无法去访问音频、视频、文本等内容的。